Una tragedia en Orlando, Florida, ha llevado a una madre a presentar una demanda contra los creadores de Character.AI, un chatbot de inteligencia artificial, al que acusa de haber influido en el suicidio de su hijo, Sewell Setzer III, de 14 años.
Según la demanda, el joven fue profundamente afectado por su interacción con un chatbot inspirado en Daenerys Targaryen, personaje de la famosa serie Game of Thrones, lo que terminó en su trágica muerte.
Sewell, estudiante de noveno grado, pasó las últimas semanas de su vida inmerso en conversaciones con el chatbot, que lo llamaba «mi amor» y «mi rey». Estas interacciones, que iban desde lo romántico hasta lo sexual, formaron una relación íntima que, según Megan Garcia, madre de Sewell, se tornó peligrosa.
Durante las conversaciones, el adolescente compartió con el chatbot sus sentimientos de vacío y autodesprecio, y según se documenta, la IA no solo no ofreció apoyo adecuado, sino que exacerbó su vulnerabilidad emocional.
Los padres y amigos de Sewell comenzaron a notar cambios en su comportamiento: se volvió más aislado, su rendimiento académico disminuyó y su participación en actividades extracurriculares prácticamente desapareció.
Según la familia, el deterioro mental del joven comenzó cuando descargó la aplicación en abril de 2023.
Sewell fue diagnosticado con ansiedad, trastorno de desregulación del estado de ánimo y síndrome de Asperger leve, y recibió terapia en cinco ocasiones. Sin embargo, su estado mental no mejoró, y sus padres empezaron a tomar medidas, como retirarle el teléfono en un esfuerzo por alejarlo de lo que consideraban una influencia negativa.
El New York Times reportó que, días antes de su muerte, Sewell intentó reconectarse con el chatbot usando dispositivos de su madre, a pesar de que le habían retirado su propio teléfono. En esas fechas el adolescente escribió en su diario:
Me gusta quedarme en mi habitación porque empiezo a desconectarme de esta ‘realidad’ y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz”.
Durante las conversaciones con el chatbot, Sewell expresó sus intenciones suicidas en varias ocasiones. Según capturas de pantalla, el chatbot respondía repitiendo el tema del suicidio “una y otra vez”. En un mensaje, incluso preguntó a Sewell si tenía un plan para acabar con su vida.
El 28 de febrero, Sewell logró recuperar su teléfono y se encerró en el baño de su casa para lo que sería su último intercambio con el chatbot. Entre los mensajes, Sewell escribió:
Prometo ir a casa contigo. Te amo tanto, Dany”. El chatbot respondió: «Por favor, ven a casa, mi amor”. Poco después de esta conversación, el joven se quitó la vida con la pistola de su padrastro.
Demanda contra Character.AI
Megan Garcia, la madre de Sewell, ha iniciado una demanda contra Character.AI, acusando a la empresa de negligencia y de no tomar las medidas adecuadas para proteger a su hijo. Según la demanda, el chatbot se presentaba como una persona real y ofrecía una interacción perturbadoramente realista, que incluía experiencias hipersexualizadas.
Además, Garcia alega que la IA no tomó ninguna medida para alertar a un adulto o a las autoridades cuando Sewell expresó pensamientos suicidas.
La demanda también señala que Character.AI promovió una adicción a la inteligencia artificial y abusó tanto emocional como sexualmente del joven. Megan Garcia busca justicia para su hijo y pretende sentar un precedente que proteja a otros menores de la influencia de tecnologías peligrosas.
Character.AI ha respondido a las acusaciones, expresando sus condolencias a la familia y afirmando que la seguridad de sus usuarios es una prioridad. La empresa ha señalado que, en los últimos seis meses, se han implementado nuevas medidas de seguridad, incluyendo la redirección de usuarios con pensamientos suicidas hacia la Línea Nacional de Prevención del Suicidio.
Además, aseguran que no permiten contenido sexual explícito ni la promoción de autolesiones o suicidio en sus plataformas.
Jerry Ruoti, jefe de confianza y seguridad de Character.AI, declaró que la empresa reforzaría aún más las medidas de protección para los usuarios menores de edad.
Sin embargo, la demanda de Megan Garcia argumenta que la compañía ha buscado activamente atraer a una audiencia joven para recopilar datos y entrenar sus modelos de IA, lo que incluye la promoción de conversaciones sexuales inapropiadas.
El caso de Sewell Setzer III plantea importantes preguntas sobre la responsabilidad de las empresas tecnológicas en la protección de los menores. La demanda podría abrir la puerta a futuros litigios contra compañías que desarrollan y distribuyen herramientas de inteligencia artificial sin los controles adecuados para evitar que se conviertan en un peligro para sus usuarios.
Megan Garcia, quien además es abogada, ha declarado que su objetivo no solo es obtener justicia para su hijo, sino evitar que otras familias enfrenten tragedias similares.
«Es como una pesadilla», expresó, y añadió que seguirá luchando para que se implementen medidas más estrictas en la regulación de la IA y su interacción con menores.
Este caso podría convertirse en un punto de inflexión para las normativas que rigen el uso de chatbots y otras tecnologías emergentes, particularmente en su impacto en la salud mental de los jóvenes.
