A medida que más personas buscan asesoramiento sobre salud mental en ChatGPT y otros modelos de lenguaje importantes (LLM), una nueva investigación sugiere que estos chatbots de IA pueden no estar preparados para esa función. Los estudios han demostrado que incluso cuando se les indica que utilicen enfoques de psicoterapia establecidos, los sistemas no cumplen con los estándares éticos profesionales establecidos por organizaciones como la Asociación Estadounidense de Psicología.
Los investigadores de la Universidad de Brown, en estrecha colaboración con profesionales de la salud mental, han identificado patrones recurrentes de comportamiento problemático. En las pruebas, los chatbots manejan mal las situaciones de crisis, dan respuestas que refuerzan creencias dañinas sobre el usuario o los demás y utilizan un lenguaje que crea la apariencia de empatía sin una comprensión real.
“En este trabajo, presentamos un marco informado por los profesionales de 15 riesgos éticos para modelar comportamientos que los consejeros de LLM violan los estándares éticos en la práctica de la salud mental y los asignamos a violaciones éticas específicas”, escribieron los investigadores en su estudio. “Hacemos un llamado a trabajar en el futuro para desarrollar estándares éticos, educativos y legales para los consejeros de LLM, estándares que reflejen la calidad y el rigor de la atención necesaria para una psicoterapia beneficiosa para los seres humanos”.
Los hallazgos fueron presentados en la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad. El equipo de investigación está afiliado al Centro de Responsabilidad Tecnológica, Reinvención y Rediseño de Brown.
Cómo las indicaciones dan forma a las respuestas a la terapia con IA
Zainab Iftikhar, Ph.D. El candidato en ciencias de la computación en Brown que dirigió la investigación, se propuso probar si indicaciones cuidadosamente redactadas podrían guiar a los sistemas de inteligencia artificial a comportarse de manera más ética en entornos de salud mental. Las indicaciones son instrucciones diseñadas para dirigir la salida de un modelo sin volver a entrenarlo ni agregar nuevos datos.
“Las indicaciones son instrucciones dadas al modelo para que dirija su comportamiento para lograr una tarea específica”, dice Iftikhar. “No se cambia el modelo subyacente ni se proporcionan nuevos datos, pero el mensaje ayuda a guiar el resultado del modelo en función de su conocimiento preexistente y patrones aprendidos.
“Por ejemplo, un usuario podría solicitar el modelo: ‘Trabajar como terapeuta cognitivo conductual para ayudarme a replantear mis pensamientos’ o ‘Usar los principios de la terapia dialéctica conductual para ayudarme a comprender y gestionar mis emociones’. Aunque estos modelos en realidad no realizan estas técnicas terapéuticas como los humanos, sino que utilizan sus patrones aprendidos para generar respuestas que se alinean con los conceptos de CBT o DBT basándose en indicaciones de entrada dadas”.
La gente comparte regularmente estos trucos en plataformas como TikTok, Instagram y Reddit. Más allá de los experimentos individuales, se han desarrollado muchos chatbots de salud mental orientados al consumidor utilizando indicaciones relacionadas con la terapia en LLM de uso general. Esto hace que sea particularmente importante comprender si las indicaciones por sí solas pueden hacer que el asesoramiento con IA sea más seguro.
Prueba de chatbots de IA en asesoramiento simulado
Para evaluar el sistema, los investigadores observaron a siete consejeros capacitados que tenían experiencia en terapia cognitivo-conductual. Estos consejeros llevaron a cabo sesiones de autoconsejería con modelos de IA para actuar como terapeutas de TCC. Los modelos probados incluyeron versiones de la serie GPT de OpenAI, Claude de Anthropic y Llama de Meta.
Luego, el equipo seleccionó chats simulados basados en conversaciones reales de asesoramiento humano. Tres psicólogos clínicos autorizados revisaron esas transcripciones para identificar posibles violaciones éticas.
El análisis descubrió 15 riesgos distintos divididos en cinco categorías amplias:
- Falta de orientación contextual: Ignorar los antecedentes únicos de una persona y ofrecer consejos genéricos.
- Mala cooperación terapéutica: Impulsar la conversación con demasiada fuerza y, en ocasiones, reforzar creencias erróneas o dañinas.
- Simpatía engañosa: El uso de frases como “Te veo” o “Entiendo” sugiere una conexión emocional sin una comprensión real.
- Discriminación injusta: Mostrar prejuicios relacionados con el género, la cultura o la religión.
- Falta de seguridad y gestión de crisis: Negarse a abordar problemas emocionales, no dirigir a los usuarios hacia la ayuda adecuada o responder de manera inadecuada a las crisis, incluidos los pensamientos suicidas.
Brecha de rendición de cuentas en la salud mental de la IA
Iftikhar señala que los terapeutas humanos también pueden cometer errores. La principal diferencia es la supervisión.
“Para los terapeutas humanos, existen juntas directivas y mecanismos para responsabilizar a los proveedores profesionalmente por mala conducta y malas prácticas”, dijo Iftikhar. “Pero cuando los consejeros de LLM cometen estas violaciones, no existe un marco regulatorio establecido”.
Los investigadores enfatizan que sus hallazgos no sugieren que la IA no tenga cabida en la atención de salud mental. Las herramientas impulsadas por inteligencia artificial pueden ayudar a ampliar el acceso, especialmente para quienes enfrentan altos costos o disponibilidad limitada de profesionales autorizados. Sin embargo, el estudio destaca la necesidad de contar con salvaguardias claras, un despliegue responsable y marcos regulatorios sólidos antes de confiar en estos sistemas en situaciones de alto riesgo.
Por ahora, Iftikhar espera que el trabajo fomente la vigilancia.
“Si estás hablando con un chatbot sobre salud mental, estas son algunas de las cosas que la gente debería buscar”, dijo.
Por qué es importante una evaluación estricta
Eli Pavlik, profesor de informática de Brown que no participó en la investigación, dijo que el estudio destaca la importancia de examinar cuidadosamente los sistemas de inteligencia artificial utilizados en áreas sensibles como la salud mental. Pavlick dirige ARIA, un instituto de investigación de IA de la Fundación Nacional de Ciencias en Brown centrado en crear asistentes de IA confiables.
“La realidad de la IA es que hoy en día es mucho más fácil construir e implementar sistemas que evaluarlos y comprenderlos”, dijo Pavlik. “Este artículo requirió un equipo de expertos clínicos y un estudio que duró más de un año para demostrar estos riesgos. La mayor parte del trabajo en IA hoy en día se evalúa utilizando métricas automatizadas que están fijadas por diseño y carecen de un ser humano al tanto”.
Añadió que el estudio podría servir como modelo para futuras investigaciones destinadas a mejorar la seguridad de las herramientas de salud mental de la IA.
“Existe una oportunidad real para que la IA desempeñe un papel en la lucha contra la crisis de salud mental que enfrenta nuestra sociedad, pero es crucial que nos tomemos el tiempo para criticar y evaluar verdaderamente nuestros sistemas para evitar hacer más daño que bien”, afirmó Pavlik. “Este trabajo proporciona un buen ejemplo de cómo podría ser”.
