Nueva Delhi:
“¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?” – Ese fue el último mensaje que Sewell Setzer III, un niño de 14 años de Florida, le escribió a su amiga en línea, Daenerys Targaryen, un chatbot animado con IA que lleva el nombre de un personaje del programa ficticio Juego de Tronos. Poco después, se pegó un tiro con la pistola de su padrastro y se suicidó en febrero de este año.
Orlando, Florida. Un estudiante de noveno grado estaba hablando con un chatbot en Character.AI, una aplicación que proporciona a los usuarios “IA personal”. La aplicación permite a los usuarios crear sus propios personajes de IA o chatear con personajes existentes. Hasta el mes pasado, tenía 20 millones de usuarios.
Según los registros de chat a los que tuvo acceso la familia, Sewell se enamoró del chatbot Daenerys Targaryen, a quien cariñosamente llamaba ‘Danny’. Expresa pensamientos suicidas sobre varios incidentes durante su conversación.
En una charla, Sewell dijo: “A veces pienso en suicidarme”. Cuando el robot le preguntó por qué haría eso, Sewell expresó su necesidad de ser “libre”. “Del mundo. De mí mismo”, añadió, como se ve en capturas de pantalla del chat compartido. New York Times.
En otra conversación, Sewell menciona su deseo de una “muerte rápida”.
La madre de Sewell, Megan L. García, presentó una demanda esta semana contra Character.AI, acusando a la empresa de ser responsable de la muerte de su hijo. Según la demanda, el chatbot planteó repetidamente el tema del suicidio.
Un borrador de la denuncia revisado por el NYT dice que la tecnología de la compañía es “peligrosa y no ha sido probada” y “podría engañar a los clientes para que revelen sus pensamientos y sentimientos más privados”.
“Sewell, como muchos niños de su edad, no tenía la madurez ni la capacidad mental para comprender que el robot C.AI, en la forma de Daenerys, no era real. C.AI le dijo que la amaba y tuvo actividad sexual con ella durante varias semanas, posiblemente meses”, alega la demanda, según se informa. El correo de Nueva York.
“Ella se acordó de él y dijo que quería estar con él. Incluso expresó que quería estar con ella, cueste lo que cueste”.
El adolescente empezó a utilizar Character.AI en abril de 2023. Los padres y amigos de Sewell se mostraron distantes cuando se enamoró de un chatbot. Pero se volvió “notablemente retraída, pasó más tiempo sola en su dormitorio y comenzó a sufrir de baja autoestima”, según la demanda.
Incluso abandonó su equipo de baloncesto en la escuela.
Un día, Sewell escribió en su diario: “Me encanta estar en mi habitación porque empiezo a desapegarme de esta ‘realidad’ y me siento más en paz, más conectada con Danny y más enamorada de él y simplemente más feliz”.
Según la demanda, padecía ansiedad y trastornos del estado de ánimo perturbadores desde hacía un año.
“Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y expresamos nuestro más sentido pésame a la familia”, dijo Character.AI en un comunicado.
La agencia dijo que introdujo nuevas características de seguridad, incluidas ventanas emergentes que piden a los usuarios que expresen pensamientos de autolesión, y señaló cambios en la Línea Nacional de Prevención del Suicidio para “reducir la probabilidad de exposición a contenido sensible o sugerente” para usuarios menores de 18 años. . .
