Derechos digitales: cuando un algoritmo decide que dejes de existir PARTE 1 DE 3

A prácticamente todos nos ha pasado que estando en un ambiente digital sucede un problema y de repente sucede algo donde quisiéramos hablar con una persona, pero la plataforma o sistema que usamos solo permite interactuar con sus bots, menús, preguntas frecuentes, etcétera.

Y, peor aún, cuando una plataforma sea como yo las distinguiría esenciales, como tu banca móvil telefónica, de repente te indica que estás bloqueado, o que una plataforma no esencial como el sitio de compras de tu preferencia de un momento a otro te indica que te expulsaron de la plataforma y tú ni idea sabes de que hiciste, y para colmo, no hay nadie con quien hablar y solo se te deja saber que “ni trates” de darte de alta de nuevo, porque, simplemente, no vas a poder, entrando en un estado de impotencia total.

El problema: no poderte defender.

Una plataforma puede tener razones perfectamente legítimas para suspender una cuenta, pero el problema comienza cuando la persona afectada no sabe exactamente qué hizo, no puede presentar pruebas y tampoco encuentra a una persona capaz de revisar la decisión.

Un mensaje como “tu cuenta incumplió nuestras políticas” comunica una decisión, pero no necesariamente explica la causa; sería equivalente a recibir una multa que únicamente dijera “usted incumplió la ley” y ni idea tienes de qué ley incumpliste.

Así, cliente de una plataforma puede pasar en segundos de tener una relación de años con una empresa a prácticamente dejar de existir para ella, aunque tenga compras, información, garantías, reputación o contenido almacenado. O sea, hay historia, hay un perfil de cliente en su sistema, y todo esto, de la nada, parece ni importar ni ser relevante.

Antes de seguir quiero ser muy claro. Si estoy de acuerdo que en el mundo digital hay malhechores o personas que actúan de mala fe y es indispensable que haya una forma de respuesta inmediata en cualquier ambiente digital para reducir o eliminar un riesgo.

Así pues, no estoy defendiendo que las empresas no puedan bloquear usuarios, pero lo que si estoy es cuestionando es que una decisión potencialmente trascendente pueda ser unilateral, inexplicable e inapelable, y a esto hemos llegado en casi todos los casos de empresas digitales salvo honrosas excepciones.

¿Por qué llegamos hasta aquí?

Hay todo un “catálogo” de razones por las que una plataforma o ambiente digital reacciona de forma muy agresiva:

  • Fraudes
  • Robo de cuentas
  • Bots tratando de parecer buenos actores, pero con malas intenciones
  • Spam
  • Identidades falsas
  • Lograr abusos de promociones

 Hacen que una empresa digital reaccione al instante de forma automatizada. Y esto se debe a que llevado esto a gran escala, con millones de operaciones, haría imposible revisar manualmente cada caso.

A veces los malhechores mejoran sus estrategias cuando una plataforma explica demasiado sobre los sistemas antifraude que emplean, enseñándoles a estos hampones qué hacer entonces para evadir las protecciones.

Por eso, automatizar la detección y hasta el bloqueo inicial puede ser razonable; puede hasta ser bueno para una persona que haya sufrido de un robo de identidad. Pero, donde empiezo a ver un punto equivocado es cuando se automatiza e inhibe toda posibilidad de poderse defender, justo de forma unilateral y sin ninguna posibilidad de involucrar a un humano del lado de la plataforma.

El problema de los falsos positivos

Hablando hace poco con la directora de una de las empresas que ayuda a las empresas a automatizar la validación de identidad digital, la prevención de fraudes y la verificación de antecedentes en segundos tocaba el tema de que mientras más estricta sea la plataforma, pueden llegar a perderse clientes que nunca podrán serlo (si te interesa, el episodio está aquí), y es que, ningún sistema antifraude es perfecto y, por tanto, algunos clientes legítimos inevitablemente serán clasificados como riesgosos sin necesariamente serlo.

Incluso un porcentaje muy pequeño de error cuando es aplicado a millones de usuarios puede afectar a miles de personas.

Es así como para una empresa eres una estadística muy imperceptible, pero para ti, ese error puede significar perder dinero, información, reputación o ingresos.

La empresa obtiene el beneficio de automatizar algo que percibe como un riesgo, mientras que el consumidor puede terminar pagando el costo de un error de criterio.

La clave: Seguridad y derechos no deberían ser enemigos

Entendiendo que ningún algoritmo de detección de riesgos es perfecto, llegar entonces a poder explicar una decisión de bloqueo o de perder una cuenta no tiene por qué significar el tener que llegar a revelar algoritmos, parámetros antifraude ni secretos de seguridad.

Definitivamente una suspensión preventiva puede ser necesaria para proteger a terceros mientras se investiga. Me ha pasado, y hasta lo agradezco, me hace sentir seguro. Pero, de igual forma, debe de haber mecanismos para que rápidamente se aclare esa confusión en el mundo ideal. El problema es que muy pocas plataformas llegan a hacer esto.

En otras palabras, la seguridad puede justificar actuar inmediatamente, pero no necesariamente condenar definitivamente sin revisión.

El verdadero reto es entonces proteger simultáneamente a la plataforma y al consumidor legítimo.

¿Dónde quedó el “Customer Centric”?

Pensemos por un instante como es contradictorio como las plataformas están dispuestas a invertir millones en atraer, conocer y personalizar la experiencia del cliente y de la nada desaparecer cuando ese cliente enfrenta un problema grave con sus servicios.

El enfoque de “Customer Centric” o poner al cliente en el centro de todo, se demuestra especialmente cuando hay problemas entre la empresa y el cliente.

Un consumidor puede aceptar una decisión desfavorable si entiende qué ocurrió y siente que realmente fue escuchado.

Customer Care no significa darle siempre la razón al cliente, no. Significa tratarlo justamente incluso cuando la respuesta sea “no”.

El incentivo económico que debemos reconocer

Estoy muy consciente de que una revisión humana cuesta dinero y una respuesta automatizada cuesta prácticamente nada.

Y así es como puede resultar económicamente más eficiente perder algunos clientes legítimos que investigar cada falso positivo. Lo entiendo.

Sin embargo, el peligro aparece cuando el consumidor injustamente bloqueado se convierte simplemente en un costo “aceptable” del sistema en vez de entender todo el costo que implicó precisamente volverlo cliente y tomar a esa plataforma como su elección entre muchas otras.

La pregunta es: ¿hasta dónde puede una empresa “reducir sus costos” trasladando al consumidor el costo de sus errores?

Antes comprábamos productos; ahora compramos acceso

Antes comprabas un producto y seguía siendo tuyo, aunque terminaras la relación con el vendedor; hoy muchas cosas dependen de conservar acceso a una cuenta a pesar de haber comprado un producto.

Por ejemplo, recibir el soporte técnico de algo comprado, fotografías, archivos, compras, reputación, facturas o incluso una actividad profesional pueden permanecer dentro de una plataforma.

Y, al bloquear una cuenta puede significar mucho más que impedir una nueva compra: puede eliminar el acceso a parte de nuestra vida digital y a los servicios que tienen los productos que ya se compraron.

En pocas palabras, cada vez somos menos propietarios de algo que una vez comprado sirve para siempre y ahora somos más usuarios de lo comprado con permiso de acceso para usar ese algo.

Conclusión parte 1

El problema no es impedir que una empresa pueda bloquearte. La pregunta es qué derechos deberían seguir siendo tuyos incluso después de que decida hacerlo.

Automatizar no es el problema tampoco. El problema comienza cuando, buscando seguridad, eficiencia y reducción de costos, eliminamos también la posibilidad de que una persona pueda defenderse de un error. Las empresas necesitan protegerse del fraude, pero los consumidores también necesitamos protegernos de las decisiones equivocadas de esas empresas y sus algoritmos.

Entonces, si una plataforma tiene razones legítimas para bloquearte, la pregunta ya no es si debería poder hacerlo, sino qué derechos deberían seguir siendo tuyos cuando lo hace. De eso hablaré en la segunda parte: del Debido Proceso Digital y de los derechos que, en mi opinión, ningún consumidor debería perder simplemente por estar detrás de una pantalla.


Deja un comentario