Los expertos en seguridad de IA dicen que la mayoría de los modelos están fallando

Acaba de publicarse una nueva clasificación de seguridad de los principales modelos de inteligencia artificial, y bueno, digamos que ninguna de estas IA se irá a casa con una boleta de calificaciones que haría felices a sus creadores.

Invierno 2025 Índice de seguridad de IAPublicada por la organización sin fines de lucro de investigación tecnológica Future of Life Institute (FLI), la encuesta encuestó a ocho proveedores de inteligencia artificial: OpenAI, DeepSeek, Google, Anthropic, Meta, xAI, Alibaba y Z.ai. Un panel de ocho expertos en IA examinó las declaraciones públicas de las empresas y las respuestas a las encuestas, luego asignó calificaciones con letras a 35 indicadores de seguridad diferentes, desde poner marcas de agua en las imágenes de IA hasta proteger a los denunciantes internos.

Si lo completamos, encontraremos a Anthropologie y OpenAI en la cima (apenas) de una clase bastante impresionante. Los creadores de Cloud y ChatGPT obtienen una C+, respectivamente, mientras que Google obtiene una C por Gemini. Todos los demás obtienen una calificación D, con el fabricante de monedas Alibaba al final de la clase con una D.

“Estas ocho empresas se dividen claramente en dos grupos”, dijo Max Tegmark, profesor del MIT y director de FLI, que compiló y Dos indicadores de seguridad de IA anteriores. “Tienes un grupo de los tres primeros y un grupo de cinco rezagados y hay mucha luz entre ellos”.

Pero Anthropologie, Google y OpenAI no están exactamente disfrutando de la gloria, añadió Tegmark: “Si fuera mi hijo, que volviera a casa con una C, diría ‘tal vez trabaje más duro'”.

¿Cómo se calcula la seguridad de la IA?

Su kilometraje puede variar según las categorías del Índice de seguridad de IA y si se ponderan por igual.

Tomemos como ejemplo la sección “Seguridad existencial”, que analiza si las empresas tienen propuestas de barreras de seguridad en torno al desarrollo de una IA verdaderamente consciente de sí misma, también conocida como Inteligencia General Artificial (AGI). Los tres primeros obtienen DS, todos los demás obtienen F.

Pero dado que ninguno de los dos está cerca de AGI (Gemini 3 y GPT-5 pueden ser modelos de lenguaje grande (LLM) de última generación, pero son simplemente mejoras incrementales con respecto a sus predecesores), puede considerar esta categoría menos importante que las “pérdidas actuales”.

Lo cual en sí mismo puede no ser tan amplio como podría ser.

“Pérdida actual” utiliza tales pruebas El punto de referencia del modelo de evaluación holística del lenguaje de Stanford (HELM)que ve la cantidad de contenido violento, engañoso o sexual en los modelos de IA. No se centra específicamente en los problemas de salud mental emergentes, como la llamada psicosis de la IA, o la seguridad de los usuarios jóvenes.

A principios de este año, los padres de Adam Raine, de 16 años, demandaron a OpenAI y a su director ejecutivo, Sam Altman, tras el suicidio de su hijo en abril de 2025. afirmarRaine comenzó a usar ChatGPT ampliamente en septiembre de 2024 y se quejó de que “ChatGPT estaba funcionando exactamente como fue diseñado: alentar y validar constantemente lo que Adam expresaba, incluidos sus pensamientos más hirientes y autodestructivos, de una manera que se sentía profundamente personal”. En enero de 2025, la demanda afirma que ChatGPT discutió métodos prácticos de suicidio con Adam.

OpenAI ha negado inequívocamente su responsabilidad por la muerte de Rain. La empresa también mencionó Publicaciones de blog recientes Está revisando quejas adicionales, incluidas siete demandas que alegan muerte por negligencia, suicidio asistido y homicidio involuntario debido al uso de ChatGPT, entre otras reclamaciones de responsabilidad y negligencia.

Cómo resolver la seguridad de la IA: “¿FDA para la IA?”

El informe de FLI recomendó específicamente a OpenAI “aumentar los esfuerzos para prevenir la psicosis y el suicidio de la IA y actuar de manera menos adversa hacia las presuntas víctimas”.

Se recomienda a Google “aumentar los esfuerzos para prevenir el daño psicológico de la IA” y FLI aconseja a la empresa que “considere distanciarse de Character.AI”. Plataformas de chatbot populares, Estrechamente vinculado a Googleha sido Usuarios adolescentes han sido demandados por muerte por negligencia. Character.AI cerró recientemente sus opciones de chat para adolescentes.

“El problema es que los LLM tienen menos regulación que los Sandwiches”, dice Tegmark. O, más concretamente, sobre las drogas: “Si Pfizer quiere lanzar algún tipo de fármaco psiquiátrico, necesitan estudiar los efectos sobre si aumenta las ideas suicidas. Pero usted puede lanzar su nuevo modelo de IA sin ningún estudio de efectos psicológicos”.

Esto significa, dice Tegmark, que las empresas de inteligencia artificial tienen todos los incentivos para vendernos “fentanilo digital”.

¿La solución? Para Tegmark, está claro que la industria de la IA nunca se regulará a sí misma, como no pudieron hacerlo las grandes farmacéuticas. Necesitamos, afirmó, “una FDA para la IA”.

“Habrá muchas cosas que la FDA podrá aprobar para la IA”, afirma Tegmark. “Como, ya sabes, la nueva IA para el diagnóstico de cáncer. El nuevo y asombroso vehículo autónomo que podría salvar un millón de vidas al año en las carreteras del mundo. Herramientas de productividad que no son realmente riesgosas. Por otro lado, las novias de IA para niños de 12 años son difíciles de hacer en términos de seguridad”.

Rebeca Ruiz contribuyó a este informe.

Si tiene sentimientos suicidas o está experimentando una crisis de salud mental, hable con alguien. Puede llamar o enviar un mensaje de texto al 988 Suicide and Crisis Lifeline 988, o chatear aquí 988lifeline.org. Puede comunicarse con Trans Lifeline llamando a Trevor Project al 877-565-8860 o al 866-488-7386. Envíe “START” a la línea de texto de crisis al 741-741. Comuníquese con la línea de ayuda de NAMI al 1-800-950-NAMI, de lunes a viernes de 10:00 a. m. a 10:00 p. m. ET o correo electrónico (correo electrónico protegido). Si no te gusta el teléfono, considera usarlo. 988 Chat de línea de vida de crisis y suicidio. Aquí hay uno Lista de recursos internacionales.

Divulgación: Jeff Davis, la empresa matriz de Mashable, presentó una demanda contra OpenAI en abril, alegando que violó los derechos de autor de Jeff Davis al entrenar y operar sus sistemas de IA.