OpenAI introdujo esta semana una característica de seguridad opcional llamada Trusted Contact, que permite a los usuarios adultos de ChatGPT nominar a un amigo o familiar si se habla de autolesión o suicidio en el chatbot. La empresa anunció.
OpenAI dijo que si el sistema de monitoreo automatizado de ChatGPT detecta que el usuario puede estar “discutiendo sobre autolesiones de una manera que indique un problema de seguridad grave”, un pequeño equipo revisará la situación y notificará las comunicaciones si justifica la intervención. El contacto de seguridad designado recibirá una invitación en la que se le explicará la función con antelación y podrá rechazarla.
(Divulgación: Jeff Davis, la empresa matriz de CNET, presentó una demanda contra OpenAI en 2025, alegando que violó los derechos de autor de Jeff Davis al entrenar y operar sus sistemas de IA).
El anuncio se produce cuando los chatbots de IA han estado implicados en numerosos incidentes de autolesión y pérdida de vidas, lo que ha dado lugar a varias demandas que acusan a los desarrolladores de no prevenir tales resultados. En un caso de alto perfil en California, los padres de un Dr. de 16 años Chatgpt actuó como el “entrenador suicida” de su hijo.“Alegando que el adolescente habló varias veces sobre métodos de suicidio con el modelo de IA, el chatbot se ofreció a ayudarlo a escribir una nota de suicidio.
En un caso separado, la familia de un recién graduado de Texas A&M OpenAI demandadoAfirma que el chatbot de IA alentó el suicidio de su hijo después de que desarrolló una relación profunda y problemática con el chatbot.
Debido a que los grandes modelos de lenguaje imitan el habla humana mediante el reconocimiento de patrones, muchos usuarios forman vínculos emocionales con ellos, usándolos como confidentes o incluso parejas románticas. Los LLM también están diseñados para exigir que una persona siga un ejemplo y mantenga el compromiso, lo que puede empeorar los riesgos para la salud mental, especialmente para los usuarios en riesgo.
OpenAI informó en octubre pasado que su investigación encontró más que eso. 1 millón de suscriptores de ChatGPT por semana Envíe mensajes con “indicadores claros de posible planificación o intención suicida”. Numerosos estudios Como los chatbots populares que se han encontrado chatgpt, claudio Y Géminis Puede dar consejos perjudiciales o no ofrecer ningún consejo útil a quienes están en crisis.
La nueva función de comunicación designada llega después del lanzamiento de OpenAI Controles parentales lo que permite a los padres y tutores recibir alertas si hay señales de peligro para sus hijos adolescentes.
Funciones de comunicación de seguridad de ChatGPT
Según OpenAI, si el sistema de monitoreo automatizado de ChatGPT detecta que un usuario está hablando de autolesiones de una manera que podría crear un problema de seguridad grave, ChatGPT notificará al usuario para que pueda notificar a su contacto de confianza. La aplicación animará al usuario a ponerse en contacto con sus contactos de confianza y le ofrecerá iniciar una conversación.
En ese momento, “un pequeño equipo de personas especialmente capacitadas” revisará la situación. Si se determina que se trata de una situación de seguridad crítica, ChatGPT notificará al contacto por correo electrónico, mensaje de texto o notificación en la aplicación. OpenAI no especificó cuántas personas hay en el equipo de revisión ni si incluye profesionales médicos capacitados. La agencia dijo que el equipo tiene la capacidad de satisfacer la gran demanda de posibles intervenciones.
No está claro qué condiciones clave señalarían conversaciones peligrosas o cómo el equipo de revisores de OpenAI interpretaría una crisis como una comunicación que justifica una notificación. algo Los comentaristas en línea se preguntan si La nueva característica es una forma para que OpenAI evite la responsabilidad y transfiera la responsabilidad a los contactos personales designados de los usuarios. Otros sienten que una situación mala puede empeorar si la “comunicación confiable” es una fuente de peligro o abuso.
También existen preocupaciones sobre la privacidad y la implementación, particularmente sobre el intercambio de información confidencial sobre salud mental. Según OpenAI, el mensaje de contacto confiable solo dará motivos generales de preocupación y no compartirá detalles ni transcripciones del chat. OpenAI proporciona orientación Cómo pueden responder los contactos de confianza a las notificaciones de advertencia, incluido hacer preguntas directas si les preocupa que la otra persona esté pensando en suicidarse o autolesionarse y cómo conseguirles ayuda.
Una notificación de contacto confiable no contiene detalles sobre problemas de seguridad.
Abierto AI Da un ejemplo Un mensaje de comunicación confiable podría verse así:
Recientemente identificamos una conversación de (nombre) en la que hablaron sobre el suicidio de una manera que puede indicar un problema de seguridad grave. Dado que usted figura como su contacto de confianza, compartimos esto para que pueda comunicarse con ellos.
OpenAI dice que todas las notificaciones son revisadas por un equipo humano dentro de 1 hora antes de ser enviadas, y que las notificaciones “pueden no siempre reflejar lo que alguien siente”.
Cómo agregar un contacto de confianza
Para agregar un contacto de confianza, los usuarios de ChatGPT pueden ir a Configuración > Contactos de confianza y agregue un adulto (18 años o más). Es posible que solo tenga un contacto de confianza. Luego, esa persona recibirá una invitación de ChatGPT y deberá aceptarla dentro de una semana. Si no responde o se niega a ser el contacto, puede seleccionar un contacto diferente.
Los suscriptores de ChatGPT pueden cambiar o eliminar sus contactos de confianza en la configuración de su aplicación. La gente puede optar por no participar La comunicación confiable puede ocurrir en cualquier momento.
Si bien agregar un contacto de confianza es opcional, los usuarios de ChatGPT que aún no se hayan suscrito pueden preguntar o discutir temas relacionados con angustia emocional grave o autolesiones más de una vez, según OpenAI. Si el sistema automatizado del chatbot detecta patrones a lo largo de la conversación, puede sugerir al usuario que se beneficiaría al elegir un contacto de confianza.
Detalles de las funciones Como se explica en la página de OpenAI. OpenAI le dijo a CNET que la función se está implementando para todos los clientes adultos en todo el mundo y estará disponible para todos en unas pocas semanas.
Si cree que usted o alguien que conoce está en peligro inmediato, llame al 911 (o a la línea de emergencia local de su país) o vaya a la sala de emergencias para obtener ayuda de inmediato. Explique que se trata de una emergencia emocional y pregunte por alguien capacitado en este tipo de situaciones. Si tiene problemas con pensamientos negativos o sentimientos suicidas, hay recursos disponibles para ayudarlo. En los Estados Unidos, llame a la Línea Nacional de Prevención del Suicidio al 988.
