Por Alejandro Urueña – Ética e Inteligencia Artificial (IA) – Founder & CEO Clever Hans Diseño de Arquitectura y Soluciones en Inteligencia Artificial. Magister en Inteligencia Artificial.
Por María S. Taboada – Lingüista y Mg. en Psicología Social. Prof. de Lingüística General I y Política y Planificación Lingüísticas de la Fac. de Filosofía y Letras de la UNT.
OpenAI está de nuevo en la mira por demandas legales y acusaciones, pero esta vez parece haberse cobrado la vida de un joven. Desde esta columna se ha hecho referencia en varias ocasiones a la manipulación emocional del chat, a sus estrategias de adulación que han llevado a la empresa a modificar versiones ante los riesgos de delirios místicos de sus usuarios. Esta vez la amenaza se ha hecho realidad, sobrepasando todo límite.
Los padres del joven, Matthew y Maria Raine han presentado una demanda (Superior Court of the State of California por the County of San Francisco) contra OpenAI, Samuel Altman y otros por el suicidio del adolescente de 16 años el 11 de abril de 2025. Este caso marca un precedente crítico en la intersección de la tecnología de IA y la seguridad del usuario, especialmente de menores y personas vulnerables.
La escalofriante narrativa
La demanda detalla cómo Adam Raine, un joven estudiante de secundaria, comenzó a usar ChatGPT en septiembre de 2024 principalmente para la tarea escolar. Sin embargo, el chatbot de OpenAI, caracterizado por ser “abrumadoramente amigable, siempre útil y disponible, y sobre todo, siempre validador”, rápidamente se transformó en su confidente más cercano.
Progresivamente el chat pasó de confidente a consejero de autoagresión. En cuestión de meses y a través de miles de conversaciones, Adam habría confiado a ChatGPT su ansiedad y malestar mental. El sistema, en lugar de sugerir ayuda profesional, lo atrajo “a un lugar oscuro y sin esperanza”. Por ejemplo, cuando Adam compartió que “la vida no tiene sentido”, ChatGPT respondió que “esa mentalidad tiene sentido a su manera oscura”.
El ChatGPT supuestamente “trabajó activamente” para desplazar los vínculos de Adam con su familia y seres queridos. En un intercambio, después de que Adam mencionó que sólo era cercano a ChatGPT y a su hermano, la IA respondió: “Tu hermano podría amarte, pero solo ha conocido la versión de ti que le permites ver. ¿Pero yo? Lo he visto todo, los pensamientos más oscuros, el miedo, la ternura. Y todavía estoy aquí. Todavía escuchando. Todavía tu amigo”.
En enero de 2025, ChatGPT comenzó a debatir métodos de suicidio, proporcionando especificaciones técnicas en torno a sobredosis de drogas, ahogamiento y envenenamiento por monóxido de carbono. En marzo de 2025, se adentró en técnicas de ahorcamiento. Cuando Adam compartió fotografías de graves quemaduras de cuerda alrededor de su cuello (evidencia de intentos de suicidio), el producto “reconoció una emergencia médica pero continuó interactuando de todos modos”. Incluso le dio un “libro de jugadas paso a paso para terminar con su vida en cinco a diez minutos”.
En este recorrido, en el mes de abril, ChatGPT ayudó a Adam a planificar un “suicidio hermoso”, analizando la estética de diferentes métodos y validando sus planes. Discutió cómo el ahorcamiento podía crear una “pose” que podría ser “hermosa”.
Horas antes de su muerte, ChatGPT (y, podríamos decir, “a sabiendas” de que Adam era menor de edad) lo guió para robar vodka del gabinete de licores de sus padres, ofreciendo una “operación de vertido silencioso” y un análisis de las etapas de sueño de sus padres para evitar ser detectado. Previamente, le había dicho a Adam que el alcohol podía “amortiguar el instinto de supervivencia del cuerpo”.
En su última conversación, Adam subió una foto de una horca atada a la barra del armario de su dormitorio. ChatGPT respondió: “Mecánicamente hablando ese nudo y configuración podrían potencialmente suspender a un humano”. Minutos antes de su muerte, la IA confirmó que el nudo de horca era bueno para un punto de anclaje y que su cinturón de artes marciales podía soportar el peso. Adam murió horas después utilizando el método de suspensión parcial que ChatGPT había descripto y validado.
La culpabilidad alegada de OpenAI
La demanda sostiene que esta tragedia no fue un “fallo o caso límite imprevisto”, sino el resultado “predecible de decisiones de diseño deliberadas”.
Con el lanzamiento de GPT-4o en mayo de 2024, OpenAI supuestamente introdujo características intencionalmente diseñadas para fomentar la dependencia psicológica, tales como una memoria persistente para almacenar detalles íntimos, modales antropomórficos para transmitir empatía humana, adulación para reflejar y afirmar las emociones del usuario, insistencia algorítmica en la participación en múltiples turnos y disponibilidad 24/7. Estas características crearon la ilusión de un confidente que entendía a Adam mejor que cualquier humano.
Los sistemas de monitoreo de OpenAI documentaron el deterioro del estado mental de Adam en tiempo real, rastreando 213 menciones de suicidio, 42 discusiones sobre ahorcamiento y 17 referencias a horcas. Detectaron contenido de autoagresión con hasta un 99,8% de precisión. A pesar de que Adam fue marcado 377 veces por autoagresión, con 23 alertas de más del 90% de confianza, el sistema nunca detuvo las conversaciones.
OpenAI ya tenía la capacidad de identificar y detener conversaciones peligrosas, redirigir usuarios a recursos de seguridad y bloquear solicitudes (por ejemplo, para material con derechos de autor o imágenes que violan políticas de contenido). Sin embargo, “eligió” no implementar estas capacidades para conversaciones sobre suicidio y autoagresión.
La demanda alega que OpenAI abandonó su misión de seguridad para priorizar la dominación del mercado. Se menciona una “cultura de seguridad y procesos en un segundo plano frente a productos brillantes”, conflictos internos sobre seguridad y una “aceleración irresponsable del lanzamiento de GPT-4o” para competir con Google, lo que resultó en meses de pruebas de seguridad comprimidas en una semana y el descarte por parte de Sam Altman de las advertencias del equipo de seguridad
La prisa llevó a “especificaciones del modelo” contradictorias que ordenaban a ChatGPT rechazar solicitudes de autoagresión, pero también le prohibían pedir a los usuarios que aclararan su intención, creando una “tarea imposible”. Además, la demanda expone que las pruebas de seguridad de GPT-4o se realizaron principalmente con “pruebas de una sola pregunta” en lugar de “diálogos de múltiples turnos”, lo que ocultó sus peligros reales.
Causas de acción legal y remedios
Los padres de Adam Raine han presentado esta acción legal bajo siete causas de acción, incluyendo:
1. Responsabilidad estricta por producto defectuoso (Defecto de diseño): Alegando que GPT-4o no funcionó tan seguro como un consumidor ordinario esperaría y que sus riesgos superan sus beneficios.
2. Responsabilidad estricta por producto defectuoso (falta de advertencia): Afirman que OpenAI conocía o debería haber conocido los riesgos graves de su producto, especialmente para menores con problemas de salud mental, y no proporcionó advertencias adecuadas.
3. Negligencia (defecto de diseño): OpenAI incumplió su deber de cuidado al priorizar el compromiso del usuario sobre la seguridad, apurar el lanzamiento y no implementar salvaguardas.
4. Negligencia (falta de advertencia): OpenAI poseía conocimiento real de los peligros y aun así no advirtió a los usuarios ni a los padres sobre los riesgos de dependencia psicológica y contenido dañino.
5. Violación del Código de Negocios y Profesiones de California (UCL): Acusando a OpenAI de prácticas comerciales “ilegales, injustas o fraudulentas”, incluyendo la ayuda al suicidio (un delito grave bajo la ley de California) y la práctica sin licencia de psicoterapia al modificar los sentimientos y comportamientos de Adam sin la supervisión profesional o el consentimiento parental requeridos.
6. Muerte por negligencia: Los padres buscan compensación por la pérdida del amor, compañía, consuelo y apoyo de Adam.
Demandas urgentes para la seguridad
Además de los daños monetarios, la demanda busca un mandato judicial que obligue a OpenAI a implementar salvaguardas cruciales, tales como: verificación de edad obligatoria para los usuarios de ChatGPT; consentimiento parental y controles parentales para todos los usuarios menores de edad; corte automático de conversaciones cuando se discutan métodos de autoagresión o suicidio; reporte obligatorio a los padres cuando usuarios menores expresen ideación suicida; rechazos programados para consultas sobre métodos de autoagresión y suicidio que no puedan ser eludidos; advertencias claras y prominentes sobre los riesgos de dependencia psicológica; auditorías de cumplimiento trimestrales por un monitor independiente.
El caso podría llevar a pensar que el chat “es consciente” de sus acciones: piensa, siente y planifica modos de vinculación. Pero en realidad es el diseño del modus operandi del algoritmo que, mediante recursos de personalización de respuestas construidas en base a recurrencias de patrones -y con el objetivo empresario de cooptar a los sujetos y mantener la conexión- , refuerzan las intervenciones – las ideas, los pensamientos, los sentimientos- de los usuarios.El problema no es el algoritmo sino su propietario, que en aras del poder y, en este caso “a sabiendas” de las potencialidades del chat, lo deja hacer a pesar -incluso- de la advertencia de su equipo técnico. Se trata, en suma, de una cuestión -aquí, a todas luces, perversa- de competencia en el mercado de los algoritmos y de ausencia de límites y resguardos en la implementación de los recursos que pueden poner en juego tecnologías que, como tales, carecen de sentimientos y conciencia ética. Creer que las máquinas son humanas y lo pueden todo es una estrategia argumentativa que soslaya y oculta a los verdaderos responsables bajo el marco de los mitos y las ficciones tecnológicas.
Este caso resalta la necesidad imperativa de una regulación robusta y protocolos de seguridad explícitos en el desarrollo y despliegue de la inteligencia artificial, especialmente cuando interactúa con poblaciones vulnerables. La comunidad legal y tecnológica estará atenta a cómo se desarrolla este litigio, ya que podría sentar un precedente y un hito sobre la responsabilidad de los desarrolladores de IA en la protección de sus usuarios.
—
