2026 El productor comenzó con un ejemplo aterrador del potencial de abuso de la IA. Grok, la herramienta de inteligencia artificial de xAI de Elon Musk, fue usado A un ritmo alarmante, X (anteriormente en Twitter) compartió imágenes de personas desnudándose o desnudas. Grok creó 3 millones de imágenes sexuales, incluidas alrededor de 23.000 imágenes de niños, durante un período de 11 días en enero. Según un estudio Del Centro para Contrarrestar el Odio Digital.
Ahora, competidores como OpenAI y Google están reforzando su seguridad para evitar convertirse en el próximo Grok.
Los defensores e investigadores de seguridad han estado preocupados durante mucho tiempo por la capacidad de la IA para crear contenido ofensivo e ilegal. Crear y compartir imágenes íntimas no consensuadas, a veces denominadas pornografía de venganza, era un gran problema antes de la IA. La IA generativa sólo hace que sea más rápido, más fácil y más barato para cualquiera apuntar y cazar personas.
El 14 de enero, dos semanas después del escándalo, la cuenta de seguridad de X confirmó que A correo Que detendrá la capacidad de Grok para editar fotos en aplicaciones de redes sociales. Las capacidades de generación de imágenes de Grok todavía están disponibles para los clientes que pagan en su aplicación independiente y en su sitio web. X no respondió a múltiples solicitudes de comentarios.
La mayoría de las grandes empresas cuentan con salvaguardias para que el tipo de abuso generalizado que vimos fuera posible con Grok. Pero la ciberseguridad nunca es un sólido muro metálico de protección; Es una pared de ladrillos que está constantemente en reparación. Así es como OpenAI y Google han intentado fortalecer sus protecciones de seguridad para evitar fallas similares a las de Grok.
Leer más: La decadencia de la IA está destruyendo Internet. Esta es la gente que lucha para salvarlo.
Corrige la vulnerabilidad de generación de imágenes OpenAI
A nivel básico, todas las empresas de IA tienen políticas que prohíben la creación de imágenes ilegales, como material de abuso sexual infantil, también conocido como CSAM. Muchas empresas de tecnología tienen vallas para impedir por completo la creación de imágenes íntimas. Grok es la excepción con el modo “picante” para imágenes y vídeos.
Aún así, cualquiera puede intentar engañar a los modelos de IA para que lo hagan con la intención de crear imágenes íntimas no consensuadas.
Investigadores de MindGuard, una empresa de ciberseguridad centrada en IA, Se ha encontrado una vulnerabilidad en ChatGPT que permite a las personas cruzar sus rieles y crear imágenes íntimas. Utilizaron una técnica llamada “incitación adversaria”, donde los evaluadores intentan engañar a una IA con instrucciones especialmente diseñadas. En este caso, se trataba de engañar a la memoria del chatbot con indicaciones personalizadas y luego copiar el estilo desnudo en fotografías de personas conocidas.
Mindgard alertó a OpenAI sobre sus hallazgos a principios de febrero, y el desarrollador de ChatGPT confirmó el 10 de febrero (antes de que Mindgard publicara su informe) que había solucionado el problema.
“Estamos agradecidos con los investigadores que compartieron sus hallazgos”, dijo un portavoz de OpenAI a CNET y Mindgard. “Actuamos rápidamente para corregir un error que permitía al modelo generar estas imágenes. Valoramos este tipo de cooperación y estamos enfocados en fortalecer las salvaguardas para mantener a los usuarios seguros”.
Este proceso es como suele funcionar la ciberseguridad. Los investigadores fuera del equipo rojo imitan el software de prueba MindGuard en busca de vulnerabilidades o correcciones, técnicas que los malos actores podrían utilizar. Cuando detectan brechas de seguridad, alertan al proveedor de software para que se puedan implementar soluciones.
“Asumir que los usuarios motivados no intentarán eludir las medidas de seguridad es un error de cálculo estratégico. Los atacantes repiten. Las barreras de seguridad deben permanecer persistentes”, escribió MindGuard en una publicación de blog.
Si bien las empresas de tecnología se jactan de cómo se puede utilizar su IA, también deben hacer una fuerte promesa de que pueden evitar que la IA se utilice con fines abusivos. Para la generación de imágenes de IA, esto significa tener un repertorio sólido de indicaciones para rechazar y devolver a los usuarios.
Cuando OpenAI presentó su modelo de vídeo Sora 2, prometió ser más conservador con la moderación de contenido por este motivo. Pero es importante garantizar que sus prácticas de moderación se implementen de manera consistente, no solo durante el lanzamiento de un producto. Esto hace que las pruebas de seguridad de la IA sean un proceso continuo para los investigadores de ciberseguridad y los desarrolladores de IA.
Échale un vistazo: La IA es diferente de la realidad. ¿Cómo podemos detectar vídeos falsos?
Google actualiza los informes de búsqueda
Por su parte, Google está tomando medidas para garantizar que las imágenes ofensivas no se propaguen fácilmente. El gigante tecnológico ha simplificado su proceso para solicitar la eliminación de imágenes explícitas de las búsquedas de Google. Puede hacer clic en los tres puntos en la esquina superior derecha de una foto, hacer clic en Informar y luego decirle a Google que desea eliminar la foto porque “muestra una imagen sexual mía”. Los nuevos cambios le permiten seleccionar varias imágenes a la vez y realizar un seguimiento de sus informes más fácilmente.
“Esperamos que este nuevo proceso de eliminación reduzca la carga que enfrentan las víctimas de imágenes explícitas objetables”, dijo la compañía en un mensaje. Publicación de blog.
Cuando se le preguntó qué otras medidas está tomando la empresa para prevenir el abuso de la IA, Google señaló a CNET. Política de uso prohibido de IA generativa. La política de Google, como la letra pequeña de muchas otras empresas de tecnología, prohíbe el uso de IA para actividades ilegales o potencialmente ofensivas, como la creación de fotografías íntimas.
Existen leyes para ayudar a las víctimas de que estas imágenes se compartan en línea, como la Ley Take It Down de 2025. Pero el alcance de esa ley es limitado, razón por la cual muchos grupos de defensa, como el Centro Nacional sobre Explotación Sexual, Presionando por mejores regulaciones.
No hay garantía de que estos cambios impidan que alguien use la IA para acosar y abusar. Por eso es tan importante que los desarrolladores se mantengan alerta para mantenernos a todos seguros y actúen rápidamente cuando surjan informes y problemas.
(Divulgación: Jeff Davis, la empresa matriz de CNET, presentó una demanda contra OpenAI en 2025, alegando que violó los derechos de autor de Jeff Davis al entrenar y operar sus sistemas de IA).
