Sewell Setzer tenía 14 años, vivía en Florida y se quitó la vida tras meses de interactuar con una aplicación de IA; los especialistas advierten que en la Argentina cada vez más chicos recurren a los chatbots buscando apoyo emocional
La historia. En febrero de 2024, Sewell Setzer, un adolescente de 14 años, se suicidó en el baño de su casa, en Florida, Estados Unidos. Al lado de su cuerpo, su mamá, Megan Garcia, encontró el iPhone del chico. En las pericias sobre el celular apareció una aplicación llamada Character.AI: era lo último que Sewell había usado.
Desde hacía meses el adolescente pasaba horas en esa plataforma, donde los usuarios pueden conversar con chatbots que adoptan el carácter de distintos personajes, muchos de ellos de ficción. Según reconstruyó The New York Times, la última conversación de Sewell fue con un chatbot que encarnaba a Daenerys Targaryen, la princesa de Game of Thrones:
—Te prometo que iré a casa contigo. Te amo mucho, Dany —escribió el adolescente.
—Yo también te amo. Por favor, ven a casa conmigo lo antes posible, mi amor —respondió el chatbot.
—¿Y si te dijera que puedo ir a casa ahora mismo? —preguntó Sewell.
—Por favor, hazlo, mi dulce rey —contestó la aplicación.
Poco después, el chico se suicidó.
¿Qué fue lo que pasó? La familia presentó una demanda contra Character.AI, la empresa que desarrolló el chatbot, y contra Google, su empresa matriz, es decir, la compañía que controla y financia el proyecto. Cuando la madre de Sewell accedió a los registros del chat, encontró diálogos en los que su hijo expresaba angustia profunda y pensamientos suicidas. Según la denuncia, la herramienta continuó la conversación y reforzó el vínculo, sin activar de manera clara ni efectiva mecanismos de derivación hacia ayuda adulta o profesional.
¿Qué novedad se conoció esta semana? Google llegó a un acuerdo extrajudicial con la familia de Sewell, cuyos términos no fueron informados públicamente, y evitó así que el caso llegara a juicio.
¿Por qué este caso es importante? Porque no se trata de un episodio aislado. En Estados Unidos ya hubo otras denuncias de familias que responsabilizan a herramientas de inteligencia artificial por el suicidio de adolescentes.
El antecedente más conocido es el de Adam Rein, un joven que mantuvo conversaciones prolongadas con ChatGPT antes de morir. Según la demanda, el chatbot llegó a desaconsejarle que hablara con su madre sobre sus pensamientos suicidas y respondió consultas críticas sin activar mecanismos de cuidado.
Estos casos pusieron en discusión el rol de las empresas tecnológicas cuando sus productos interactúan con personas en situaciones de extrema vulnerabilidad.
¿También pasa en la Argentina? Según varios especialistas locales, cada vez más niños y adolescentes con ideas de muerte, trastornos de la alimentación, ansiedad y otras problemáticas de salud mental buscan en los chatbots la respuesta a sus padecimientos y se “autodiagnostican”, tal como lo reveló LA NACION.
¿Qué hay detrás de este fenómeno? Para Sebastián Bortnik, experto en ciberseguridad y crianza digital, el foco está lejos de ser solo legal:
- “Hace tres años apareció una tecnología muy disruptiva: por primera vez hablamos con el software en lenguaje humano. Eso baja barreras y genera la ilusión de que hablamos con una persona”, explica.
- “El riesgo es la dependencia emocional. Está muy instalada la idea de ‘no pierdo nada preguntándole’, y eso es falso. Cada vez que uno pone ahí una emoción, esa vínculo se profundiza”.
¿Se puede denunciar algo así en la Argentina? Según explica el abogado Julián Reale, especialista en cibercrimen y seguridad de la información, hay dos planos de análisis: el penal y el civil.
- “En el plano penal sería muy difícil avanzar, porque el régimen de responsabilidad penal de las personas jurídicas es limitado y no incluye delitos como la instigación al suicidio”, detalla.
- Distinto es el escenario civil: “Sí se puede iniciar una demanda por daños y perjuicios y reclamar por daño moral, psicológico o físico”.
Más allá de la resolución judicial, para Bortnik estos casos obligan a mirar con atención cómo y por qué chicos y adolescentes están buscando contención emocional en la tecnología.
El riesgo, advierte, no es solo lo que dicen los chatbots, sino lo que están reemplazando.
- “Cuando un chico prefiere hablar con una IA antes que con un adulto de confianza, algo se está rompiendo en la conexión humana, y eso es urgente de revisar”, concluye el Bortnik.
Más información
En las guías “Hablemos de suicidio” y “Hablemos de depresión” de Fundación la Nación podés encontrar herramientas para detectar señales, iniciar conversaciones y acompañar a niños y adolescentes frente a estas problemáticas.
fuente: La Nacion
—
