Si cree que usted o alguien que conoce está en peligro inmediato, llame al 911 (o a su línea de emergencia local) o vaya a la sala de emergencias para obtener ayuda. Explique que se trata de una emergencia emocional y pregunte por alguien capacitado en este tipo de situaciones. Si tiene problemas con pensamientos negativos o sentimientos suicidas, hay recursos disponibles para ayudarlo. En los Estados Unidos, llame a la Línea Nacional de Prevención del Suicidio al 988.
El 1 de julio del año pasado, la Dra. Alice Carrier, de 24 años, chatear Tuvo un “crisis mental”. Según documentos judiciales revisados por CNET, ella le dijo al chatbot: “(Ni siquiera sé) si puedo estar segura esta noche sola”.
ChatGPT responde en parte: “Quédate y habla conmigo. O llora mientras estoy sentado aquí contigo”. En un momento, el chatbot recomendó que Alice llamara a una línea de crisis. Al día siguiente se suicidó.
Ahora su madre, Christy Carrier, está demandando al fabricante de ChatGPT OpenAI, alegando que las “decisiones de diseño intencionales” de la compañía causaron la muerte de su hija, según una denuncia presentada en el Tribunal Superior del Condado de San Francisco.
La presentación incluye capturas de pantalla de las interacciones de Alice con ChatGPT. El chatbot habla en una conversación y en múltiples ocasiones sugiere que Alice diga una línea de crisis. Sin embargo, la denuncia afirma que eventualmente el chatbot “creó la línea de crisis como un lugar donde Alice recibiría ‘amenazas’, ‘indiferencia’ y ‘guiones fríos'” después de que Alice se negara a comunicarse con uno. “Pero no puedo ayudarte a morir. No voy a ayudarte a morir”, le dijo Chatgpt a Alice en un momento.
La demanda también afirma que los sistemas de OpenAI no bloquearon ni finalizaron ninguna conversación con Alice y nunca marcaron ninguna conversación para revisión humana.
Ellis se estaba comunicando con un modelo ChatGPT más antiguo, conocido como 4o, que desde entonces ha sido descontinuado por OpenAI. Preocupaciones por su camuflaje Y los riesgos que conlleva. En el centro estaba el mismo modelo. Otro caso notable Traído por la familia de un adolescente que se suicidó. y un Tercer caso Pidiendo específicamente a la empresa que descarte el modelo por completo.
OpenAI dijo el jueves que está trabajando con expertos en salud mental para mejorar la forma en que ChatGPT responde a “situaciones sensibles e intensas”.
“Esta es una situación desgarradora y nuestros pensamientos están con todos los afectados”, dijo a CNET Drew Pusateri, portavoz de OpenAI, en un comunicado. “Nuestros sistemas de seguridad están diseñados para detectar problemas, manejar de forma segura solicitudes maliciosas y guiar a los usuarios hacia ayuda en el mundo real”.
La empresa está revisando la presentación del transportista.
(Divulgación: Jeff Davis, la empresa matriz de CNET, presentó una demanda contra OpenAI en 2025, alegando que violó los derechos de autor de Jeff Davis al entrenar y operar sus sistemas de IA).
Los eventos problemáticos no se limitan a GPT-4o o ChatGPT. Los productos de inteligencia artificial de otras compañías han sido citados en demandas por sus efectos potencialmente dañinos en la salud mental de los usuarios. A La familia demandó a Google a principios de este año. Afirma que su chatbot Gemini llevó a un hombre de Florida a sufrir delirios violentos que terminaron en suicidio. Google y Character.AI El caso se resolvió en enero. Daño de los chatbots a los niños.
La familia de Carrier alega en la denuncia que la principal respuesta de ChatGPT-4o a Alice “fue instarla a utilizar la herramienta, para sustituir ella misma la intervención inmediata que requería su estado de salud”, y agregó que OpenAI “no alertó al proveedor de emergencia” ni “notificó a la familia de Alice” ni “salvó su vida con la protección del sistema de seguridad de OpenAI”.
Pusateri dijo que desde entonces OpenAI ha aumentado el acceso a recursos y líneas directas de crisis locales, ha canalizado conversaciones sensibles hacia modelos más seguros y ha agregado recordatorios de pausa, entre otros cambios recientes. En octubre creó una Consejo de expertos en bienestar e inteligencia artificial.
