En la PARTE 1 vimos que el objetivo de los atacantes ya no es la contraseña y más bien la pelea es por lograr ganar tu confianza.
En la PARTE 2 busqué explicar porque ya no basta confiar en las personas para empezar a confiar en los procesos.
Ahora expongo un nuevo reto: esos procesos, se ejecutan cada vez más y más por la inteligencia artificial (IA) y agentes autónomos, lo cual plantea poder decidir en qué información confiar de la IA y en cual no.
Cuando la IA se puede engañar…
El cambio ahora es que los atacantes están dejando de preocuparse por engañar a las personas para mejor engañar a la IA.
Para esto, el simple cambio de contexto o los datos o las instrucciones para cambiar las decisiones que tome la IA, y es que, más que “engañar” a la IA, basta con “convencerla” utilizando información que aparente ser legítima. Estamos presenciando en esta época que la ingeniería social deja de preocuparse por las personas y ahora se enfoca en la IA y/o los agentes inteligentes.
La confianza en los datos
Como en todo proceso de sistemas, si se ingresa a un sistema basura como datos, los resultados son basura también. Por igual, la IA decide y comenta con base en la información que recibe.
Anteriormente he hablado de cómo los datos sintéticos pueden provocar desde errores hasta alucinaciones en la IA, y de la misma forma, si los datos están manipulados o son incompletos o están fuera de contexto, las decisiones no serán las adecuadas.
Así pues, la calidad de una decisión será tan precisa y correcta en la medida que la información en la que se base sea por igual precisa y correcta.
Por lo anterior, la información pasa a un plano por debajo del nivel de confianza que se tenga de la información.
Formas en las que se manipulan las decisiones
En el pasado he abordado situaciones que ya están sucediendo para la manipulación de las decisiones de la IA tales como el prompt injection.
Por igual, la manipulación del contexto puede llevarse a cabo empleando agentes inteligentes.
Para lograr decisiones equivocadas es común usar la técnica de envenenamiento de datos que se manifiesta como un ciberataque dirigido a la fase de entrenamiento de la Inteligencia Artificial (IA) donde los atacantes inyectan o manipulan deliberadamente información en el conjunto de datos para que el modelo aprenda patrones erróneos, lo que compromete su precisión, seguridad o comportamiento ético.
Si se compromete el empleo de MCP (Model Context Protocol o Protocolo de Contexto del Modelo) que es el estándar abierto que permite que los agentes tengan una conexión segura con herramientas, bases de datos y aplicaciones externas, se podría lograr la extracción de datos y documentos confidenciales, o ejecutar comandos maliciosos que provoquen una vulnerabilidad, o la manipulación de políticas de acceso e identidad, permitiendo así el acceso a la infraestructura de la empresa.
Finalmente, entro otra de las formas más comunes de manipular las decisiones está el abuso de automatizaciones, donde se replica una decisión incorrecta miles de veces antes de poderla detectar.
Nuevos riesgos en las empresas
Así vemos que las formas de manipulación anteriores pueden automatizar errores y ejecutarlos rápidamente y peor aún, se pueden llegar a autorizar operaciones que ninguna persona hubiera aprobado.
Lo peor es que es posible que se lleguen a tomar decisiones que afectan la estrategia de la empresa que son basadas en información manipulada y sin la capacidad de tener trazabilidad para ubicar quien o quienes decidieron eso.
Si intervienen varios agentes, se dificultará la posibilidad de asignar la responsabilidad de algún problema, todo quedará “diluido” en una serie de automatizaciones sin poder tener el origen de quien lo provocó todo.
¿Cómo protegerse?
Todo inicia estableciendo procesos de supervisión humana para decisiones críticas, con la capacidad de mantener la evidencia completa del razonamiento que siguió la IA o los agentes que se emplearon.
Asimismo, se debe de validar permanentemente la calidad, el origen y el nivel de actualización de los datos que se estén empleando para que la IA funcione.
Sin duda, por más automatización que exista, ciertas decisiones y procesos deberán de definirse de tal forma que nunca puedan automatizarse al 100% y que haya decisores humanos en ese punto.
Por último, se debe de poder parar todo de inmediato cuando se detecte alguna situación negativa o inesperada.
Conclusión: el delicado tema de la soberanía digital
En estas 3 partes he querido resaltar como la confianza deja de ser un atributo exclusivo de las personas y que, por igual, no puede depender únicamente de los procesos.
La confianza se extiende a los datos, al contexto y a los mecanismos mediante los cuales las personas programamos a la IA para tomar decisiones.
La verdadera soberanía consiste en conservar el control sobre todo lo que nuestros sistemas usan para operar.
Es el momento en donde las decisiones se vuelve lo más delicado a proteger, mas allá de las contraseñas y los procesos.
Si confiamos en los criterios para decidir, la IA hará el trabajo que esperamos. Quien controle aquello en lo que una organización confía, terminará controlando el rumbo de la organización.
Mpolishuk's Blog 