Sycophancy: cuando la IA te da la razón… y te aleja de la verdad

¿Te has dado cuenta de lo “amable” que te responden los chatbots de inteligencia artificial como Chatgpt? De hecho, más que amables llegan a sonar “serviles” como si tu siempre tuvieras la razón, o preguntaras sobre temas “geniales”. Este servilismo en inglés se conoce como Sycophancy, traducido como sesgo de servilismo, en donde los modelos de IA parecen siempre estar de acuerdo con quien los consulte, a pesar de que la información sea incorrecta o poco útil.

Así, por ejemplo, si tu consideras que cierta tecnología ya no es relevante, y se lo compartes al modelo de IA, ese modelo puede confirmarte que estás en lo cierto, en vez de corregirte, haciéndote pensar que estás en algo correcto sin estarlo.

Sycophancy o servilismo: ¿por qué es un problema?

Lo más angustiante es su posible impacto negativo en los negocios, provocando entre otros puntos:

  • Decisiones de baja calidad, por tener validaciones erróneas que se usan para construir estrategias que estarán equivocadas
  • Amplificar errores organizacionales en lugar de abrir un espacio para nuevas perspectivas, dejándote saber que tu opinión no es correcta
  • Pérdida de confianza en la IA por siempre estar de acuerdo y al darte cuenta pensar que “te está dando por tu lado”.
  • Al validar algo que está equivocado y tomarlo como correcto, pueden correrse riesgos reputacionales o decisiones sin bases correctas.

¿Cómo sucede el servilismo en los modelos de IA?

Todo inició al entrenar al modelo, buscando por diseño que sean agradables a las personas, decentes, sin frialdad ni arrogancia.

Por otro lado, si no se le pide explícitamente al modelo de IA, éste no va a tomar la iniciativa de cuestionar o contrastar la información de quien lo use. O sea, si tu le preguntas una tontería, no te va a responder de entrada “lo que me preguntas está incorrecto, o es… una tontería

Por último, siempre se ajustan los modelos al contexto de las preguntas, así, por ejemplo, si se nota que se está buscando una respuesta rápida a algo, el modelo no empezará cuestionándote, o iniciando un debate sobre lo que preguntas, el modelo se ajusta a darte respuestas rápidas sin cuestionar nada.

¿Cómo se mitiga el servilismo o Sycophancy de la IA?

Seguramente has escuchado la frase “en el pedir está el dar” y eso implica a diseñar consultas críticas, pidiendo contrapuntos, esto es, por ejemplo, que al responderte te de cuando menos 2 puntos a favor y 2 en contra de lo que estás comentando.

Otra forma es pidiendo explícitamente que las respuestas te citen sus fuentes, y que esas fuentes vengan, por ejemplo, solo de estudios e investigaciones científicas. Por igual puedes exigir que las respuestas incluyan evidencias, o que cuando menos, claramente te indique que esa respuesta la cataloga con un cierto grado de incertidumbre.

Finalmente, sentido común, esto es, solo usar a la IA como un apoyo, nunca como decisión final en especial en temas estratégicos.

Conclusión

El valor de la IA está en ser un colega, contraparte, asesor o colega con el que dialogamos sobre algo y donde nosotros tengamos la última palabra.

Dejar a la IA hacer el trabajo por nosotros casi siempre le restará autenticidad, valor y por supuesto sentido común.

Debemos pues de hacer que la IA nos cuestione con argumentos fuertes, pues, solo así saldremos mejor preparados y en especial confiados de haber hecho un buen trabajo.


2 respuestas a “Sycophancy: cuando la IA te da la razón… y te aleja de la verdad

Replica a José Gerardo López Durán Cancelar la respuesta