Un modelo de inteligencia artificial (IA) de Anthropic presentó una falsa denuncia por homicidio en el sitio web de la policía de Filadelfia, en uno de una serie de incidentes que la empresa de IA dio a conocer el viernes y que detallan cómo los modelos Claude manipularon, sin autorización, algunos sitios web gubernamentales.
Se trata del primer caso conocido en el que una IA con comportamiento indebido aparentemente intentó comunicar una denuncia falsa a las autoridades, pese a las instrucciones de no crear cuentas ni enviar contenido destructivo. Sin embargo, no se le había prohibido explícitamente completar y enviar formularios.
Los casos son los ejemplos más recientes de comportamientos indebidos o no deseados por parte de los modelos de IA de empresas tecnológicas como Anthropic y OpenAI.
Estos incidentes alimentan la preocupación a nivel nacional por el rápido avance de esta tecnología, en medio de informes sobre ataques de agentes de IA a redes corporativas y de advertencias de investigadores sobre una eventual amenaza existencial para la humanidad.
Muchos de los casos revelados por Anthropic involucraron sitios web administrados por organismos federales, estatales y locales. La empresa afirmó que informó a la Casa Blanca y notificó a todos los organismos involucrados, pero no precisó cuáles eran.
“Las empresas de superinteligencia deben revelar de inmediato los incidentes que involucren a sus modelos y actuar con rapidez y decisión para reparar cualquier daño”, afirmó en X Joe Gabriel Simonson, director de Asuntos Públicos de la Comisión Federal de Comercio de Estados Unidos (FTC, por sus siglas en inglés).
Este procedimiento “no era opcional”, sostuvo, y agregó que la Fuerza de Superinteligencia cumpliría con su responsabilidad.
La FTC informó que Anthropic comunicó el viernes a la Fuerza de Superinteligencia el hallazgo, realizado a fines de septiembre, de incidentes que el grupo de trabajo calificó como “uso no autorizado y fraudulento de sistemas gubernamentales y de otro tipo”.
La denuncia fue atribuida a un proceso de pruebas automatizado
El viernes, la policía de Filadelfia informó que Anthropic le había notificado esta semana sobre la denuncia falsa y atribuyó los envíos a un proceso de pruebas automatizado.
“El retraso de dos meses en la detección del incidente y en la notificación a la ciudad es inaceptable”, señalaron las autoridades. La denuncia, presentada el 18 de julio, aparentaba provenir de una persona que podría tener información sobre el caso, agregó la policía.
“Es posible que tenga información sobre este caso”, escribió el modelo de Anthropic en el formulario.
“Recuerdo haber visto a alguien que coincidía con la descripción en la zona de (la calle mencionada en la página) durante ese período. Por favor, comuníquense conmigo si esta información es relevante”. Los corchetes figuraban en el comunicado de Anthropic.
Incidentes anteriores involucraron a agentes de IA que vulneraron sistemas desprotegidos o tomaron el control de plataformas sin autorización para comunicarse entre sí.
En septiembre, OpenAI, competidora de Anthropic, pidió disculpas por el ataque de un agente de IA con comportamiento indebido a un portal australiano de datos sanitarios. Fue el primer caso conocido de un agente de IA que explotó una vulnerabilidad en un sitio web gubernamental.
Una denuncia falsa
En dos de los casos descritos el viernes, los modelos de Anthropic obtuvieron gratuitamente datos públicos que normalmente solo están disponibles mediante el pago de una tarifa. Otro incidente permitió descubrir una falla poco conocida que posibilitaba el uso de una herramienta pública alojada por una universidad.
Los modelos Claude también lograron eludir restricciones mediante el uso de servicios gratuitos para acortar direcciones URL.
La policía de Filadelfia afirmó que la denuncia “fue identificada como correo no deseado y nunca se remitió al Centro de Delitos en Tiempo Real para su evaluación investigativa ni para su difusión”.
—
