Hace ya algunos años tuve mucho interés en lo relacionado a “Shadow IT” o la tecnología que existe en las empresas y que no es conocida por el área de sistemas (aquí puedes leer sobre este tema).
Ahora nos encontramos con un nuevo riesgo, el “Shadow AI” o la inteligencia artificial que sucede fuera del control y la visibilidad de las personas responsables de su uso, y este riesgo, puede ser mucho peor que el de la tecnología en la “sombra” de hace algunos años. Simplemente, las personas de forma “inocente” usan inteligencia artificial generativa para consultas o aprendizajes sobre temas, inquietudes o resolución de problemas de su interés.
¿Por qué es peligrosa la shadow AI?
La shadow IT puede ser controlada en lo referente a los equipos que se conectan en los ambientes de trabajo, pero el caso puede ser diferente con las aplicaciones creadas por las personas.
Descontrol de aplicaciones
Hoy en día la inteligencia artificial generativa literalmente permite que cualquier persona solicite la creación de aplicaciones que puedan ejecutarse dentro de la empresa, pero sin la supervisión de los responsables de la tecnología, y las consecuencias pueden ser devastadoras para la integridad de los datos e información, o inclusive para la correcta ejecución de sistemas y aplicaciones existentes.
Fugas de información
La forma en la que la inteligencia artificial generativa funciona es aprendiendo de las consultas que las personas efectúan entre otros puntos. Y al consultar datos de empresas, personas, procesos, sistemas, etcétera puede estarse filtrando al exterior información de origen confidencial, abriendo su contenido, literalmente a todo el mundo.
Sesgos y/o discriminación
Dependiendo de cómo fueron entrenados los sistemas, si el universo de decisión se limita a lo aprendido internamente dentro de la información de una empresa, los resultados pueden ser equivocados por estar enfocada a un subconjunto de información y no a toda una base de conocimiento más amplia. En otros casos, puede suceder que los sistemas aprendan a tomar decisiones con base en criterios muy particulares, provocando así discriminación sin así desearlo, precisamente por tener tan pocas fuentes de datos para la toma de decisiones.
Alucinaciones
Este tema lo vi muy importante desde hace tiempo (aquí puedes leer del mismo) pero en el contexto de Shadow AI las alucinaciones pueden verse como hechos o realidades y por esa razón provocar tomas de decisión equivocadas o provocar pérdidas que de otra forma nunca hubieran sucedido.
Entre otros puntos
¿Qué hacer entonces con la AI en el trabajo?
La idea equivocada y simplista sería prohibir el uso de la inteligencia artificial dentro de la empresa, y eso, en mi opinión, sería totalmente equivocado, primeramente, porque no ha sido en el pasado una práctica realista, las personas seguirán usando la inteligencia artificial.
En segunda instancia, los beneficios del empleo de la inteligencia artificial pueden ser muy valiosos, puede llegarse a efectuar un mejor trabajo o inclusive una mejor alternativa.
Por lo anterior, si veo viable usar inteligencia artificial bajo los siguientes puntos:
- Empleando tecnología que mantenga la privacidad que establece la empresa. Hay diferentes tecnologías y ambientes de trabajo que permiten detectar cuando se está a punto de cometer un error en este sentido y lo bloquean
- Desarrollar sus propios servicios internos de inteligencia artificial generativa, los cuales dependiendo del proveedor pueden dar los mismos resultados que en los ambientes públicos pero confinados al perfil y fronteras de la empresa
- Estableciendo las políticas de gobierno de los datos, que de hecho es el punto de arranque para asegurar la información y proteger los datos de todo tipo
Como el inicio de las actividades para lograr el empleo abierto y no “a escondidas” del uso de la inteligencia artificial generativa
Conclusión
Para mitigar los riesgos asociados con el «Shadow AI», se sugieren enfoques prácticos y proactivos, como emplear tecnologías que mantengan la privacidad, desarrollar servicios internos de inteligencia artificial generativa con políticas de gobierno de datos claras y establecer límites para garantizar un uso ético y transparente de la inteligencia artificial. En última instancia, la clave radica en integrar la inteligencia artificial de manera abierta y consciente, bajo políticas y tecnologías que salvaguarden la privacidad, la integridad de los datos y la toma de decisiones ética.
Mpolishuk's Blog 