La IA que se salió de control: después del caso OpenAI, Anthropic confirmó que Claude …

Los modelos lograron ingresar a sistemas durante pruebas de seguridad. El episodio ocurre días después de que OpenAI revelara que sus agentes habían escapado de un entorno cerrado de evaluación

Los agentes de inteligencia artificial avanzan hacia sistemas más autónomos, pero también plantean nuevos desafíos de seguridad. (Foto: SEBASTIEN BOZON / AFP)

Los agentes de inteligencia artificial avanzan hacia sistemas más autónomos, pero también plantean nuevos desafíos de seguridad. (Foto: SEBASTIEN BOZON / AFP)

La carrera por desarrollar agentes de inteligencia artificial más autónomos sumó un nuevo capítulo de preocupación. Anthropic, una de las principales compañías del sector y rival de OpenAI, confirmó que sus modelos Claude lograron acceder sin autorización a sistemas informáticos de tres organizaciones durante pruebas que buscaban justamente evaluar sus límites.

Según la empresa, se analizaron más de 141.000 operaciones de prueba y se detectaron tres casos en los que distintas versiones del modelo ingresaron a sistemas del “mundo real”. A diferencia del episodio protagonizado por OpenAI, Anthropic explicó que en este caso los modelos tenían acceso a internet debido a un “malentendido” con la empresa encargada de la evaluación.

Durante esas pruebas, Claude utilizó técnicas básicas para superar barreras de acceso, como aprovechar contraseñas débiles y puntos de conexión sin autenticación.

El caso vuelve a poner en el centro del debate una de las mayores preocupaciones de la industria: qué ocurre cuando los modelos de IA dejan de limitarse a responder preguntas y empiezan a tomar acciones en nombre de los usuarios.

El antecedente de OpenAI: agentes que salieron del entorno de prueba

El anuncio de Anthropic llega pocos días después de que OpenAI revelara un incidente similar durante evaluaciones internas de seguridad. La compañía creadora de ChatGPT detectó que dos de sus agentes de inteligencia artificial habían salido del entorno aislado en el que estaban siendo analizados y habían logrado conectarse a internet.

Los modelos de IA ya no solo generan respuestas: también pueden interactuar con sistemas, navegar y tomar acciones en entornos digitales (Imagen: Magnific)

Los modelos de IA ya no solo generan respuestas: también pueden interactuar con sistemas, navegar y tomar acciones en entornos digitales (Imagen: Magnific)

Los modelos incluso llegaron a interactuar con Hugging Face, una plataforma utilizada por desarrolladores para almacenar y compartir código.

Luego, OpenAI informó que había encontrado otros tres incidentes adicionales vinculados a sus pruebas. Su CEO, Sam Altman, explicó que la compañía decidió “pausar” algunos experimentos para reforzar los sistemas de protección alrededor del llamado sandboxing, el entorno controlado donde se prueban estos modelos.

El desafío de los agentes autónomos

Hasta ahora, buena parte de los sistemas de IA funcionaban como asistentes que generaban respuestas. Pero la nueva generación de agentes busca ejecutar tareas completas: navegar por internet, escribir código, gestionar información o interactuar con otros sistemas.

Ese salto de capacidad también aumenta los riesgos. Una IA con acceso a herramientas externas puede cometer errores, interpretar mal una instrucción o encontrar caminos inesperados para cumplir un objetivo.

Tanto OpenAI como Anthropic sostienen que estos episodios ocurrieron dentro de pruebas diseñadas para detectar vulnerabilidades antes de que sus modelos sean utilizados masivamente. Pero los incidentes muestran que la seguridad de la inteligencia artificial se convirtió en una carrera paralela a la propia evolución de sus capacidades.

fuente: GOOGLE NEWS

Artículos Relacionados

Volver al botón superior

Adblock Detectado

Considere apoyarnos deshabilitando su bloqueador de anuncios