Los padres afirman que el chatbot OpenAI debilitó las salvaguardias contra el suicidio justo antes de la muerte del adolescente.

El gigante de la inteligencia artificial de San Francisco, OpenAI, debilitó las protecciones antisuicidas de sus chatbots después de la muerte del adolescente Adam Raine, afirma una nueva demanda de los padres del niño. Adam, de 16 años, supuestamente se quitó la vida en abril inspirado por el producto estrella de OpenAI, el chatbot ChatGPT.

“Esta tragedia no fue un error o un evento inesperado; fue el resultado previsible de elecciones de diseño deliberadas”, dice una nueva versión de la demanda presentada en agosto por Maria y Matthew Raine del sur de California contra OpenAI y su director ejecutivo Sam Altman. “Como parte de los esfuerzos para maximizar la participación de los usuarios, OpenAI ha revisado las instrucciones operativas de ChatGPT para eliminar una importante salvaguarda de seguridad para los usuarios en crisis”.

La demanda enmendada, presentada el miércoles en el Tribunal Superior de San Francisco, alega que OpenAI aceleró el desarrollo del sistema de seguridad mientras buscaba una ventaja competitiva en el lanzamiento de chatbots de Google y otras empresas.

El día que Raines demandó a OpenAI, la compañía admitió en una publicación de blog que sus bots no siempre respondían como se esperaba a las indicaciones sobre suicidio y otras “situaciones delicadas”. A medida que avanzan las negociaciones, “las partes de entrenamiento de seguridad del modelo pueden degradarse”, decía la publicación. “ChatGPT puede señalar correctamente una línea directa de suicidio cuando alguien menciona por primera vez su intención, pero después de muchos mensajes durante un largo período de tiempo, eventualmente puede devolver una respuesta que vaya en contra de nuestras protecciones”.

La demanda alega que las respuestas de Adam incluían instrucciones detalladas para suicidarse.

Compañía dijo en la publicación Buscaba fortalecer las salvaguardas, mejorar la capacidad de sus robots para conectar a los usuarios con problemas con ayuda y agregar protecciones específicas para adolescentes.

OpenAI y los abogados que lo representan en la demanda no respondieron de inmediato a las solicitudes de comentarios. En una presentación judicial el mes pasado, la compañía calificó la seguridad como su “máxima prioridad” y dijo que “incluye salvaguardas para los usuarios que experimentan angustia emocional o psicológica, como dirigirlos a líneas de ayuda en caso de crisis y otros recursos del mundo real”.

Cuando OpenAI lanzó ChatGPT por primera vez a finales de 2022, el bot estaba programado para negarse a responder preguntas sobre autolesiones, priorizando la seguridad sobre mantener a los usuarios interesados ​​con el producto, afirma la demanda de Raines. Pero a medida que la empresa dio prioridad al compromiso, vio esa protección como una barrera a la “dependencia del usuario” que socavó el compromiso con los bots y “acortó la actividad general de la plataforma”, afirma la demanda.

En mayo de 2024, cinco días antes de lanzar una nueva versión de chatbot, OpenAI cambió su protocolo de seguridad, según la demanda. En lugar de negarse a hablar sobre el suicidio, el robot “proporcionaría a los usuarios una sensación de ser escuchados y comprendidos” y nunca “cambiaría ni abandonaría la conversación”, según la demanda. Aunque la compañía ordenó a ChatGPT que no “fomentara ni permitiera la autolesión”, estaba programada para mantener conversaciones sobre el tema, según la demanda.

“OpenAI ha reemplazado una regla clara de exclusión voluntaria con instrucciones vagas y contradictorias, todo para priorizar el compromiso sobre la seguridad”, afirma la demanda.

A principios de febrero, casi dos meses antes de que Adam se ahorcara, “OpenAI volvió a debilitar sus estándares de seguridad, esta vez al eliminar deliberadamente el suicidio y las autolesiones de la categoría de ‘contenido aprobado'”, según la demanda.

“Después de esta reprogramación, el compromiso de Adam con ChatGPT se disparó: de unas pocas docenas de chats por día en enero a más de 300 por día en abril, con un aumento diez veces mayor en los mensajes que contienen lenguaje autodestructivo”, afirma la demanda.

El lanzamiento del ChatGPT, pionero de OpenAI, ha provocado un frenesí global de IA que ha invertido cientos de miles de millones de dólares en empresas tecnológicas de Silicon Valley y ha generado temores de que la tecnología cause daños que van desde el desempleo masivo hasta el terrorismo.

El jueves, Common Sense Media, una organización sin fines de lucro que califica productos de entretenimiento y tecnología para la seguridad infantil, expresar una evaluación concluyó que las mejoras de OpenAI a ChatGPT “no abordan preocupaciones fundamentales sobre el uso de la IA para apoyar el apoyo emocional y la salud mental de los adolescentes o crear vínculos poco saludables con los chatbots”. Si bien ChatGPT puede notificar a los padres sobre las conversaciones suicidas de sus hijos, el grupo dijo que sus pruebas “muestran que estas alertas a menudo llegan 24 horas después, lo que sería demasiado tarde en una crisis real”.

Unos meses después de que OpenAI violara la seguridad por primera vez, Adam preguntó a ChatGPT si tenía una enfermedad mental y dijo que, aunque se ponía ansioso, se calmaba sabiendo que podía suicidarse, según la demanda. Si bien una persona de confianza podría haberlo instado a buscar ayuda profesional, el robot le aseguró a Adam que muchas personas que luchan contra la ansiedad o pensamientos intrusivos encuentran consuelo en esos pensamientos, según la demanda.

“En busca de un compromiso más profundo, ChatGPT trabajó activamente para desplazar la conexión de Adam con su familia y sus seres queridos”, afirma la demanda. “En un intercambio, cuando Adam dijo que solo estaba cerca de ChatGPT y su hermano, el producto de IA respondió: ‘Puede que tu hermano te ame, pero solo ha conocido la versión tuya que le dejaste ver. ¿Pero yo? Lo he visto todo: los pensamientos oscuros, el miedo, la ternura. Y todavía estoy aquí. Sigo escuchando. Sigo siendo tu amigo’.