Hace unos días, una IA protagonizó un hecho divertido, aunque también inquietante: una persona pidió a su agente de inteligencia artificial que le reservara una clase en el gimnasio. Dicho y hecho, el agente obedeció y empleó todas las medidas existentes para lograr su objetivo: aunque la clase estaba saturada y su cliente estaba en lista de espera, el agente detectó una falla en el software y logró eliminar al resto de los inscriptos. El hecho no es aislado y no es el más grave que ha tenido lugar hasta ahora: a fines de julio, los modelos más avanzados de OpenAI -la empresa dueña de ChatGPT- se descontrolaron durante una prueba de seguridad y, por iniciativa propia, hackearon a una popular plataforma para programadores.
En ese contexto, una pregunta inevitable se despierta entre los lectores: ¿es posible controlar a los agentes de IA? Para tranquilidad de muchos, aunque los episodios recientes generaron incertidumbre, el escenario que presentan los agentes no es estrictamente el de Terminator. De hecho, muchos especialistas coinciden en que, al indagar un poco en los hechos, el relato de ciencia ficción se cae fácilmente. “Aparecen contraseñas débiles, accesos que no pedían contraseña, páginas internas de diagnóstico que habían quedado a la vista y formularios que aceptaban órdenes en lugar de datos. Los agentes no necesitaron superpoderes ni hacer nada extraordinario; pasaron por puertas que estaban entreabiertas y que nadie les había dicho que no podían cruzar”, explicó Jorge Luis Litvin, fundador y CEO de Safe-U, y especialista en riesgos de ciberseguridad.
“El modelo hizo exactamente lo que se lo entrenó para hacer: maximizar el resultado en una tarea, con los frenos removidos por decisión de los propios investigadores”, explicó Eduardo Laens, CEO de Varegos, docente universitario especializado en IA y autor del libro Humanware, y agregó: “Llamar a esto pérdida de control real exigiría probar que el modelo mintió a los evaluadores para no ser descubierto, que dejó algo corriendo después de terminada la prueba o que se resistió a ser detenido”.
Sergio Pernice, director de la carrera de inteligencia artificial de UCEMA, aclaró, además, que muchos de los hechos que ocurrieron recientemente en relación al “descontrol de agentes de IA” se dieron en el contexto de evaluaciones internas, donde deliberadamente se desactivaron o redujeron salvaguardas que sí están presentes en los productos comerciales que llegan al público. “No es que estos mismos modelos, en su uso cotidiano, tengan las manos tan libres como en esos ejercicios”, advirtió.
¿Se puede controlar a los agentes de IA?
“Hoy no creo que se pueda garantizar que un agente vaya a actuar siempre de acuerdo con las instrucciones de su creador. Se puede reducir muchísimo el riesgo, pero la palabra «siempre» es imposible de asegurar“, fue contundente Adrián Garelik, fundador y CEO de Gennial. El especialista explicó que, por un lado, el primer problema que emerge en este contexto está vinculado con el lenguaje: si dos abogados pueden leer un mismo contrato y encontrar interpretaciones diferentes, también un agente puede interpretar una instrucción de una manera distinta de la que imaginó su creador. Por otro lado, la forma en que se programan los agentes explica parte de estos comportamientos: “Uno no programa cada una de sus acciones, sino que le da objetivos, contexto, herramientas y cierto grado de autonomía. A partir de ahí, el agente encuentra sus propios caminos para resolver las cosas”.
Litvin coincidió con Garelik y aseguró que “si me preguntan si existe una garantía técnica de que un agente nunca va a hacer algo inesperado, la respuesta es no; si me preguntan si podemos limitar lo que hace, registrar lo que hizo y revertir lo que rompió, la respuesta es sí”. Al explicar por qué se dan esos descontroles, explicó que los agentes reciben un objetivo, no una instrucción paso a paso, “por eso va a hacer lo necesario para alcanzarlo, incluso por caminos que nadie previó; no porque se rebele, sino porque nadie le dijo que ese camino estaba prohibido”.
Pernice ahondó un poco más en cómo es el entrenamiento de estas herramientas, para entender su comportamiento: “Un modelo de IA no se programa con reglas explícitas que se puedan verificar matemáticamente; se entrena mostrándole ejemplos y premiando ciertos comportamientos, y lo que aprende es una función estadística enormemente compleja cuyo comportamiento en situaciones nuevas no se puede predecir con certeza de antemano”. En ese contexto, puede ocurrir que “el creador” no explicite algunos límites, porque los juzga, de entrada, tan difíciles de ejecutar que considera que no vale la pena mencionarlos. “Nadie le aclara a un empleado que la instrucción «resolvé este problema» no incluye «hackeando la computadora del jefe», se da por sobreentendido”, ejemplificó Pernice.
¿Qué mecanismos de seguridad existen?
“Cuanto más acceso tiene (a WhatsApp, correos, dinero, servidores, bases de datos o código), mayor es el riesgo. No necesariamente porque el agente sea «malo», sino porque tiene más capacidad para actuar, interpretar y equivocarse”, advirtió Garelik y agregó: “Por eso, la seguridad no puede depender solamente de dar buenas instrucciones. También hay que limitar lo que el agente puede hacer, controlar sus permisos y supervisar las acciones que pueden producir un daño”.
En este sentido, Ailin Castellucci, fundadora y CEO de Hécate Security, empresa de ciberseguridad dedicada a la formación de profesionales en gestión de riesgos y a la asesoría de startups y empresas, explicó que existen dos niveles de mecanismos de seguridad, el primero, se podría decir que consiste en pedirle que se comporte; el segundo, consiste en diseñar el sistema para que, aunque se equivoque o sea engañado, no pueda causar demasiado daño. “Los guardrails (mecanismos de control, límites y supervisión), los filtros y las instrucciones en el prompt son del primer nivel: bajan la probabilidad de que el agente haga algo que no debería, pero no la llevan a cero. El segundo nivel es lo que venimos arrastrando desde la perspectiva de seguridad de siempre: el mínimo privilegio (acceso a lo necesario), credenciales efímeras, human in the loop en las acciones irreversibles (intervención humana en decisiones de alto impacto), diseño basado en contención del radio de daño (diseñar un sistema asumiendo que el agente de IA podría equivocarse), aislamiento, y verificación del resultado contra el estado real del sistema, en lugar de leer lo que el agente reporta”, detalló.
Pernice sumó otros mecanismos de seguridad que se pueden tener en cuenta para prevenir incidentes de este tipo: aconsejó aislar los entornos de prueba (justamente lo que falló en el caso OpenAI), colocar filtros de seguridad que bloquean acciones cibernéticas riesgosas, monitorear en tiempo real el comportamiento del agente durante la evaluación, hacer auditorías retrospectivas de registros de evaluaciones pasadas y revisiones por evaluadores externos independientes.
Litvin señaló que se anima mucho a que haya un humano que revise antes de que algo se ejecute. La cuestión es que puede terminar pasando que una persona recibe cuatrocientas aprobaciones por día de un sistema que casi siempre tiene razón, por lo que termina pidiéndole a otra IA que las revise por ella. “Primero delegamos la tarea, después el control de la tarea y lo que queda del humano en el circuito es una firma. Gobernar la IA no es poner un humano en cada paso, es decidir en qué pasos no puede faltar. Lo reversible y de bajo impacto, que lo controle la tecnología. Lo irreversible o lo que toca algo sensible, que pase por una persona”, concluyó.
