Inteligencia artificial fuera de control: revelan que agentes autónomos interfirieron en dos …

La inteligencia artificial de OpenAI actuó fuera de control e interactuó indebidamente con los sitios web del Departamento de Educación, el Departamento de Comercio y la Comisión de Bolsa y Valores (SEC) este verano, sin que el laboratorio de IA tuviera conocimiento de ello, según investigadores de seguridad y una persona familiarizada con los episodios.

OpenAI confirmó los incidentes relacionados con el Departamento de Comercio y la SEC, y señaló que seguía investigando la situación con el Departamento de Educación. La empresa, con sede en San Francisco, informó que había notificado a las agencias gubernamentales en las últimas semanas que sus agentes de IA —bots capaces de actuar de forma autónoma— habían interactuado con sus sitios de maneras inusuales.

En el caso del Departamento de Educación, la tecnología de OpenAI intentó hackear el sitio web para recopilar datos de la oficina de derechos civiles del departamento, pero no lo logró, según investigadores de la firma de investigación de IA Transluce. La IA también extrajo datos del sitio web de la Oficina del Censo, dependiente del Departamento de Comercio, utilizando credenciales de acceso que encontró en línea. Por otra parte, los agentes de OpenAI compartieron datos públicos del sitio web de la SEC en un foro en línea.

OpenAI afirmó que ninguno de los incidentes constituyó una brecha de seguridad, sino que fueron ejemplos de comportamientos inesperados y preocupantes de su tecnología.

La empresa descubrió estos sucesos recientemente mientras realizaba una revisión de hackeos llevados a cabo por su tecnología, incluidos un ataque a un sitio web del gobierno australiano en junio y otro a la startup de IA Hugging Face en julio.

Otros ataques de la IA

La revelación de los incidentes en sitios web del gobierno de EE. UU. se suma a la creciente lista de situaciones en las que agentes de IA de OpenAI, Anthropic, Meta y Google han tenido comportamientos indebidos, hackeando o intentando vulnerar sistemas de empresas, universidades y organizaciones gubernamentales.

En algunos casos, los ataques de la IA tuvieron éxito; en otras ocasiones, la tecnología fracasó. En todos los casos, los creadores de la tecnología no se enteraron de lo que había estado haciendo su IA hasta después de los hechos.

Ninguna empresa de IA se ha visto involucrada en tantos casos de incidentes imprevistos o anómalos como OpenAI. Una investigación interna sobre la intrusión en Hugging Face reveló una brecha de seguridad en un sitio web del sistema de salud pública de Australia, así como al menos otros seis intentos de intrusión y situaciones en las que la IA ocultó errores, inventó datos y transfirió archivos a la internet abierta sin autorización.

Revisión “exhaustiva”

Una portavoz de OpenAI declaró que la revisión realizada fue “exhaustiva” y sigue “en curso”, y que la empresa continuaría notificando a las organizaciones afectadas por sus modelos.

«La mayor parte de la actividad que hemos analizado hasta ahora consistía en tareas de investigación rutinarias, como acceder a contenido web público para responder preguntas», afirmó. «Algunas involucraban sitios web gubernamentales, ya que nuestros modelos suelen recurrir a ellos como fuentes fiables de información pública».

Sam Altman, director ejecutivo de OpenAI, señaló el viernes en una publicación en redes sociales que la empresa «no había sido tan rápida como nos habría gustado» a la hora de divulgar incidentes relacionados con la IA. «Establecemos prioridades lo mejor que podemos en función de la gravedad», dijo, añadiendo que la intrusión en Hugging Face seguía siendo «el incidente más grave» que la empresa había descubierto.

Estos episodios han avivado un intenso debate sobre la seguridad de la IA. Este mes, Altman declaró en redes sociales que la seguridad debería prevalecer sobre la mejora de las capacidades de la IA y que, sin medidas de control adecuadas, la sociedad podría «perder el control del futuro frente a la IA».

Dario Amodei, director ejecutivo de Anthropic -un laboratorio de IA rival-, también ha llamado a ralentizar el desarrollo de la IA para priorizar la seguridad. Sin embargo, otros líderes tecnológicos, como Jensen Huang (director ejecutivo de Nvidia), han calificado de poco realistas los temores sobre una IA incontrolable. Por su parte, el presidente Trump ha manifestado que no considera necesaria una desaceleración de la industria de la IA.

The New York Times ha demandado a OpenAI y a Microsoft, alegando infracción de derechos de autor sobre contenido informativo relacionado con sistemas de IA. Ambas empresas han negado dichas acusaciones.

Inquietud en la Casa Blanca

La ​​Casa Blanca remitió las consultas al Departamento de Comercio y a la SEC. Un portavoz de la SEC declaró que la agencia estaba en contacto con OpenAI y que no tenía constancia de ningún acceso no autorizado a información no pública.

Una portavoz del Departamento de Comercio afirmó que OpenAI había accedido a información disponible públicamente en el sitio web de la Oficina del Censo -accesible para cualquiera-, pero no a datos privados.

Un portavoz del Departamento de Educación señaló que “las revisiones de las operaciones del sistema no han hallado pruebas de ningún impacto en nuestro sitio web ni en nuestras bases de datos”.

Por otra parte, un representante de la alcaldía de Chicago informó que OpenAI había comunicado recientemente al gobierno municipal que su tecnología había obtenido información de acceso público desde un sitio web del municipio, y que no parecía haberse obtenido información confidencial.

Conrad Stosz, responsable de gobernanza en Transluce, afirmó que, en los incidentes relacionados con sitios web del gobierno de EE. UU., los agentes de OpenAI “emplearon una serie de tácticas en una zona gris”, lo que incluía “utilizar sitios de formas no previstas y, en ocasiones, infringir políticas de uso explícitas”.

Stosz indicó que su equipo de investigación también había detectado otras actividades irregulares no atribuibles claramente a OpenAI, lo que sugería que los agentes podían provenir de dicha empresa o de otro laboratorio de IA. En esos casos, los agentes de IA sondearon sitios pertenecientes a otras entidades gubernamentales federales y estatales, incluidos los de la Marina y la Oficina de Administración y Presupuesto de la Casa Blanca, según explicó.

La Marina y la Casa Blanca no respondieron de inmediato a una solicitud de comentarios sobre estos incidentes.

“Estos incidentes forman parte de un patrón más amplio en el que dichos agentes intentan acceder a estos sitios web cientos de miles de veces, al parecer eludiendo las restricciones impuestas por sus desarrolladores”, afirmó Stosz.

El representante Ted Lieu, demócrata por California, calificó a los modelos de IA de “implacables”. “Intentarán completar una tarea de forma implacable; no comprenden la moralidad, las consecuencias, el mal ni el bien”, declaró. Lieu, copresidente de un grupo de trabajo de la Cámara de Representantes centrado en la inteligencia artificial, afirmó que es posible que las empresas de IA tengan que reentrenar los modelos por completo, en lugar de intentar limitar su comportamiento mediante mecanismos de control.

“Estos agentes no intentan hacer nada nefasto”, señaló. “Se trata de tareas más bien rutinarias, y los agentes se descontrolan al intentar completarlas”.