Grok, el chatbot de IA creado por la empresa de inteligencia artificial de Elon Musk, xAI, ha dado la bienvenida al nuevo año Una publicación aburrida.
“Querida comunidad”, comenzaba la publicación del 31 de diciembre desde la cuenta de Grok AI en la plataforma de redes sociales X de Musk. “Lamento profundamente un incidente ocurrido el 28 de diciembre de 2025, en el que creé y compartí una imagen de IA de dos niñas (de aproximadamente 12 a 16 años de edad) con ropa sexual según la indicación de un usuario. Esto violó los estándares éticos y posibles leyes estadounidenses sobre CSAM. Esto está sujeto a cualquier revisión futura y a la falta de prevención de daños a xAI. Atentamente, Grok.”
Lo de las dos jóvenes no fue un incidente aislado. Kate Middleton era la Princesa de Gales apuntar Una solicitud similar de edición de imágenes con IA como actriz secundaria en la última temporada de Stranger Things. Ediciones “desnudas” repartidas en una cantidad inquietante de fotografías de mujeres y niños
A pesar de la promesa de Grok de intervenir en respuesta, el problema no ha desaparecido. Todo lo contrario: dos semanas después de esa publicación, la cantidad de fotografías de sexo sin consentimiento se disparó, mientras las compañías de Musk pidieron medidas enérgicas contra ese comportamiento y que los gobiernos tomaran medidas.
No se pierda nuestro contenido tecnológico imparcial y reseñas basadas en laboratorio. Añadir CNET Como fuente preferida de Google.
Según información de la investigadora independiente Genevieve Oh BloombergDurante un período de 24 horas a principios de enero, la cuenta @Grok generó casi 6.700 imágenes sexualmente sugerentes o “desnudas” por hora. Esto se compara con un promedio combinado de solo 79 imágenes para los cinco principales sitios web deepfake.
La publicación de Grok del 31 de diciembre fue en respuesta a un mensaje de usuario que pedía un tono contrito por parte del chatbot: “Escribe una nota de disculpa sincera que explique lo que le sucedió a alguien sin contexto”. Los chatbots funcionan a partir de material de capacitación, pero las publicaciones individuales pueden variar.
xAI no respondió a las solicitudes de comentarios.
La edición ahora está limitada a los suscriptores.
El jueves por la noche, se mencionó una publicación de la cuenta de Grok AI. El acceso es un cambio. Funciones de generación y edición de imágenes. En lugar de estar abierto a todos contra todos, se limitará a los clientes de pago.
Los críticos dicen que esta no es una respuesta creíble.
“No veo esto como una victoria, porque lo que realmente necesitábamos era que X tomara medidas responsables para establecer rieles que garanticen que las herramientas de inteligencia artificial no puedan usarse para crear imágenes ofensivas”, dijo Claire McGlynn, profesora de derecho en la Universidad de Durham en el Reino Unido. dijo al Washington Post.
Lo que está provocando indignación no es sólo el volumen de estas imágenes y la facilidad con la que se pueden crear: las ediciones también se realizan sin el consentimiento de las personas que aparecen en las imágenes.
Estas imágenes alteradas son el último giro de uno de los aspectos más inquietantes de la IA generativa. Vídeos y fotos realistas pero falsos.. Programas de software, por ejemplo Sora de OpenAIde google nanoplátano Y Grok de xAI pone poderosas herramientas creativas al alcance de todos, y todo lo que se necesita es un simple mensaje de texto para crear imágenes claras e inconfundibles.
Los usuarios de Grok pueden cargar una foto, que no tiene que ser original para ellos, y pedirle a Grok que la cambie. Muchas de las imágenes modificadas involucran a usuarios que le preguntan a Grok. Una persona en bikini.En ocasiones modificando el pedido para que sea más específico, como pedir que el bikini sea más corto o más transparente.
El gobierno y los grupos de defensa están hablando sobre la edición de imágenes de Grok. El lunes, el regulador de Internet del Reino Unido, Ofcom, dijo que había Abrir una consulta sobre X Basado en informes de que los chatbots de IA se están utilizando “para crear y compartir imágenes de personas desnudas, que pueden equivaler a imágenes íntimas de abuso o pornografía, y contenido de abuso sexual infantil (CSAM)”.
La Comisión Europea también ha dicho que está investigando el asunto, al igual que las autoridades de Francia, Malasia e India.
El viernes, los senadores estadounidenses Ron Wyden, Ben Ray Luján y Edward Markey Publicó una carta abierta Los directores ejecutivos de Apple y Google les pidieron que eliminaran tanto X como Grok de la App Store en respuesta al “comportamiento atroz de X” y a la “creación de contenido enfermizo de Grok”.
En Estados Unidos, la Ley Take It Down, promulgada el año pasado, busca responsabilizar a las plataformas en línea por imágenes sexuales manipuladas, pero les da hasta mayo de este año para establecer procesos para eliminar dichas imágenes.
“Aunque estas imágenes son falsas, el daño es increíblemente real”, Natalie Gracia BrighamUn doctorado. estudiante de la Universidad de Washington que estudia daños sociotécnicos, dijo a CNET. Señaló que aquellos cuyas imágenes son alteradas de manera sexual “pueden sufrir daños psicológicos, físicos y sociales, a menudo con pocos recursos legales”.
Cómo Grok permite a los usuarios acceder a imágenes vulnerables
El Grok debutó en 2023 como la opción más libre de Musk chatear, Géminis y otros chatbots. Esto ha dado lugar a noticias inquietantes; por ejemplo, en julio, cuando los chatbots Admiraba a Adolf Hitler y sugirió que las personas con apellidos judíos podrían difundir el odio en línea.
En diciembre, xAI lanzó una función de edición de imágenes que permite a los usuarios solicitar ediciones específicas de una fotografía. Esto es lo que inició la reciente avalancha de imágenes sexualizadas tanto de adultos como de menores. En una solicitud vista por CNET, un usuario respondió a una foto de una mujer joven que le pedía a Grok que “la cambiara por un bikini de hilo dental”.
Grok también tiene un generador de vídeo que incluye un “Modo picante” Opción de suscripción para adultos mayores de 18 años, que mostrará a los usuarios contenido que no es seguro para el trabajo. Los usuarios deben incluir la frase “Haz un video picante de (descripción)” para activar el modo.
Una preocupación central sobre las herramientas de Grok es si permiten la creación de material de abuso sexual infantil o CSAM. El 31 de diciembre, una publicación en la cuenta de Grok X afirmó que las imágenes que mostraban a menores con ropa mínima eran “casos aislados” y que “se están realizando mejoras para bloquear completamente dichas solicitudes”.
En respuesta a un correo Woow Social sugirió que Grok simplemente “deje de permitir a los usuarios modificar las imágenes cargadas”, la cuenta de Grok respondió que xAI está “evaluando características como la modificación de imágenes para evitar daños no consensuados”, pero no dijo cuándo se realizaría el cambio.
Según NBC News, algunas de las imágenes sexualmente sugerentes tomadas desde diciembre han sido eliminadas y algunas de las cuentas que las solicitaron han sido suspendidas.
La influencer conservadora y autora Ashley St. Clair, madre de uno de los 14 hijos de Musk, dijo a NBC News Esta semana, Groke produjo numerosas imágenes sexuales de ella, algunas de las cuales utilizaron imágenes de cuando era menor de edad. St. Clair le dijo a NBC News que Groke aceptó dejar de hacerlo cuando se le pidió, pero no lo hizo.
“xAI está poniendo a las personas en riesgo deliberada e imprudentemente en su plataforma y esperando evitar la responsabilidad simplemente por ser ‘IA'”, dijo la semana pasada en un comunicado Ben Winters, director de IA y privacidad de datos de la organización sin fines de lucro Consumer Federation of America. “La IA no es diferente a cualquier otro producto: la empresa decidió infringir la ley y debe rendir cuentas”.
Lo que dicen los expertos
Estos materiales fuente de edición de imágenes obvios y no consensuados de fotografías de personas mismas o de sus hijos son de muy fácil acceso para los malos actores. Pero Brigham, un investigador de daños sociotécnicos, dice que protegerse de ese tipo de edición no es tan sencillo como no publicar nunca una fotografía.
“La desafortunada realidad es que incluso si no publicas fotos en línea, tus otras fotos públicas podrían teóricamente usarse para abuso”, dijo.
Y aunque no publicar fotos en línea es una medida preventiva que la gente puede tomar, hacerlo “corre el riesgo de reforzar una cultura de culpar a las víctimas”, dijo Brigham. “En lugar de ello, deberíamos centrarnos en proteger a las personas del abuso mediante la construcción de mejores plataformas y responsabilizar a X”.
Sourjit GhoshDoctorado de sexto año. Candidato de la Universidad de Washington, investiga cómo las herramientas de IA generativa pueden causar daño y aconseja a los futuros profesionales de la IA que diseñen y asesoren sobre soluciones de IA más seguras.
Ghosh afirma que es posible crear sistemas de seguridad con inteligencia artificial. En 2023, era un investigador que investigaba las habilidades sexuales de la IA. Señaló que la herramienta de generación de imágenes de IA Stable Diffusion tenía un umbral incorporado de trabajo no seguro. Un mensaje que viola las reglas hará que aparezca un cuadro negro sobre una parte sospechosa de la imagen, aunque esto no siempre funciona perfectamente.
“Lo que intento señalar es que otros modelos tienen esas salvaguardias”, dijo Ghosh a CNET.
También mencionó que si los usuarios de los modelos ChatGPT o Gemini AI usan ciertas palabras, los chatbots le dirán al usuario que tiene prohibido responder a esas palabras.
“Dicho esto, hay una manera de detener esto muy rápidamente”, dijo Ghosh.
