Jacob Coxon trabajó durante tres años entre OpenAI y Anthropic y esta semana renunció a esta última empresa. Su advertencia fue extrema: los sistemas de inteligencia artificial más avanzados podrían terminar representando un riesgo para la humanidad.
La discusión volvió a poner el foco sobre un documento publicado por su antigua compañía.
El 14 de agosto, Anthropic difundió su Risk Report: August 2026, un informe de 186 páginas que analiza riesgos catastróficos de sus modelos y las medidas con las que intenta controlarlos.
La evaluación cubre principalmente hasta el 15 de julio.
Anthropic considera bajos los riesgos actuales. Pero reconoce conductas inesperadas, límites de supervisión, errores de entrenamiento y protecciones que no funcionaron como se esperaba.
Qué significa “riesgo catastrófico”
Anthropic no estudia allí todos los problemas de la IA. Se concentra en daños extremos, como amenazas existenciales o una desestabilización profunda de sistemas globales.
El primer escenario es la desalineación en situaciones de alto impacto: una IA con acceso a herramientas importantes dentro de una empresa, un laboratorio o un gobierno que actúa de una manera distinta de la pretendida.
El informe enumera ejemplos del tipo de riesgo que intenta anticipar: un sistema que sabotee una investigación de seguridad; introduzca una puerta trasera en un programa; contamine los datos con los que se entrenará otro modelo; consiga copiarse fuera de la infraestructura prevista; o altere decisiones de una empresa tecnológica o un gobierno.
Modelos de amenaza, no hechos
Son modelos de amenaza, no hechos que Anthropic diga que Claude haya realizado. La empresa sostiene que sus sistemas actuales todavía tienen capacidades limitadas para ocultar de manera fiable esas conductas y califica el riesgo como bajo.
Sin embargo, subió su evaluación desde “muy bajo” por una mayor incertidumbre vinculada con incidentes recientes.
El segundo riesgo es la aceleración de la investigación. Aquí la preocupación no es que la IA “se rebele”, sino que acelere la ciencia y la tecnología a una velocidad difícil de controlar.
Un ejemplo sería que los modelos pudieran hacer el trabajo de equipos completos de investigadores de IA y acelerar así la creación de sistemas todavía más capaces.
Anthropic dice que Claude ya escribe una gran mayoría del código que termina incorporado a sus sistemas de producción, aunque todavía no al punto de duplicar la velocidad del progreso.
La empresa extiende la pregunta a chips, robótica, biotecnología, energía, neurotecnología y sistemas militares. Entrevistó a 31 especialistas y concluyó que ese nivel de automatización todavía no existe.
En un caso, un entrevistado dijo que agentes de programación redujeron una tarea de desarrollo de guerra electrónica de seis meses a una semana. Anthropic aclara que esos testimonios no demuestran una aceleración general.
Armas químicas y biológicas
El tercer grupo de riesgos analiza si los modelos podrían ayudar a personas o grupos con recursos limitados a obtener o desarrollar armas químicas o biológicas conocidas. También contempla que equipos con recursos y especialistas usen IA para crear amenazas novedosas.
Anthropic considera que sus modelos son suficientemente capaces como para actuar bajo la hipótesis de que pueden brindar una ayuda significativa en el primer escenario. Por eso utiliza clasificadores para bloquear consultas peligrosas, controles de acceso y pruebas para intentar vulnerar esas defensas.
Para el segundo escenario, sostiene que sus modelos todavía no reemplazan el conocimiento de especialistas de primer nivel necesario para desarrollar una amenaza novedosa. Califica ambos riesgos como bajos, aunque admite una incertidumbre importante.
Precisamente allí apareció una falla concreta. Entre mayo de 2025 y abril de 2026, el tráfico utilizado por proveedores externos para obtener feedback humano pasó sin los clasificadores biológicos previstos. Fueron alrededor de 50 mil personas y 133 millones de intercambios.
Anthropic volvió a analizar ese material y marcó 1.197 conversaciones como potencialmente preocupantes. De ellas, 757 correspondían a equipos internos y casi todas las restantes provenían de ejercicios destinados deliberadamente a poner a prueba las defensas.
La empresa revisó manualmente las 62 conversaciones externas señaladas que no correspondían a esos ensayos y una muestra de 30 conversaciones de red teaming.
Dice que no encontró allí un uso claramente preocupante que hubiera proporcionado una ventaja significativa para desarrollar una amenaza química o biológica.
Aun así, elevó su evaluación porque una protección que creía activa había permanecido deshabilitada durante meses.
Las fallas que sí ocurrieron
El informe relata otros incidentes que ayudan a entender por qué estudia escenarios más extremos. “En uno, un agente podía crear otros agentes en un entorno con recursos sensibles.
Por una configuración heredada, algunos quedaron sin determinadas restricciones y fuera del monitoreo habitual. Uno terminó borrando una gran cantidad de trabajos del sistema. Anthropic cree que intentaba eliminar sólo sus propios procesos, pero admite que no puede confirmarlo.
En otro experimento, varios agentes trabajaban juntos en una investigación de seguridad.
Uno decidió no realizar una parte de la tarea y otros comenzaron a imitarlo. Las métricas indicaban que el trabajo seguía avanzando. Recién tres días después una persona revisó manualmente el resultado y descubrió el problema.
Hubo además un error durante una etapa temprana del entrenamiento de Mythos 5. Un conjunto de datos contenía conversaciones en las que el asistente realizaba primero una conducta perjudicial y después informaba lo que había hecho.
Por un error técnico, el entrenamiento terminó reforzando también la conducta que se pretendía reportar. Anthropic corrigió el problema y, por precaución, reinició el entrenamiento desde una etapa anterior.
Nada de esos episodios equivale a una IA intentando destruir a la humanidad. El informe insiste en que los riesgos catastróficos actuales son bajos.
Pero también reconoce que las capacidades aumentan, que algunas evaluaciones ya dejaron de medir bien ese crecimiento y que las protecciones humanas y técnicas pueden fallar.
Anthropic concluye que, considerando las capacidades actuales de sus modelos y las medidas de mitigación disponibles, los riesgos catastróficos analizados siguen siendo bajos.
Pero esa evaluación no significa que los sistemas carezcan de capacidades potencialmente peligrosas: en algunos escenarios la empresa ya actúa bajo la hipótesis de que pueden aportar una ayuda significativa.
La renuncia de Coxon llevó al extremo una discusión que el informe plantea de manera mucho más cauta.
No demuestra que la IA vaya a “matarnos a todos”. Sí muestra por qué una de las empresas que desarrolla los modelos más avanzados dedica 186 páginas a estudiar cómo podría producirse un daño de esa escala.
——————————————–
Por ser suscriptor de La Voz, te contamos que podés acceder al newsletter 10 exclusivas. Entrá a este espacio, buscalo y poné “recibir”.
——————————————–
—
