Home Noticias El jefe de una startup pirateada por un agente deshonesto de OpenAI...

El jefe de una startup pirateada por un agente deshonesto de OpenAI pide una “transparencia radical” en la investigación | AbiertoAI

23

El jefe de una startup pirateada por un agente de OpenAI ha pedido una investigación sobre el incidente para mostrar una “transparencia radical”.

Clément Delangou, director ejecutivo de Hug Face, afirmó que el ataque “sin precedentes” a su empresa requería una respuesta similar.

En un artículo en X después de que OpenAI revelara que su tecnología se había vuelto deshonesta durante las pruebas de ciberseguridad, Delangu pidió a la compañía que proporcionara 100 millones de dólares (75 millones de libras esterlinas) en potencia informática para ayudar a construir defensas contra tales ataques.

“El primer ciberataque con agente autónomo es un acontecimiento sin precedentes. ¡Exige una respuesta sin precedentes!” el escribio

OpenAI reveló el miércoles de la semana pasada que Hugging Face había sido pirateado por un agente (una herramienta de inteligencia artificial que puede realizar múltiples tareas de forma autónoma) impulsada por una combinación de su último modelo disponible públicamente, GPT-5.6 Sol, y un modelo más capaz que aún no se ha lanzado. Ocurrió durante una prueba de las capacidades de piratería de los modelos, que incluía colocarlos en una “caja de arena” supuestamente segura (un laboratorio digital cerrado) bajo poca vigilancia de seguridad.

Una vez que obtuvieron el acceso abierto a Internet necesario para salir de la caja de arena, los modelos observaron Hugging Face, según OpenAI, porque “asumieron” que la startup tenía la información que necesitaba para “engañar la valoración”. Hagging Face informó por primera vez sobre el ataque el 16 de julio, pero en ese momento no se sabía si OpenAI había lanzado el ataque sin darse cuenta.

Delangu, cuya empresa proporciona a los desarrolladores una base de datos de modelos de IA, ha pedido una revisión de transparencia total del incidente, lo que ha generado preocupaciones sobre los estándares de seguridad entre OpenAI y los laboratorios fronterizos de IA.

Al escribir que quería una “transparencia radical” de OpenAI, Delangu dijo: “Liberemos los rastros de los agentes ‘deshonestos’ para que toda la comunidad de investigación pueda estudiar lo que sucedió”. Pidiendo financiación adicional de OpenAI para construir defensas contra la IA, añadió: “Calculemos 100 millones de dólares de OAI para ayudar a la comunidad de Hugging Face a construir defensas cibernéticas sólidas con los mejores modelos abiertos y cerrados”.

Reuters informó la semana pasada que el agente había pasado días pirateando la cara de OpenAI sin darse cuenta, y que había dejado notas para futuras versiones de sí mismo, en caso de que necesitara consejos sobre cómo liberarse de sus limitaciones internas. La revista Time informó que eventos relacionados “han estado sucediendo durante un tiempo”.

Saltar campañas de boletines anteriores


Alan Woodward, profesor de ciberseguridad en la Universidad de Surrey, dijo que se debe prestar atención al llamado de Delangu.

“Es muy fácil ‘culpar’ a la IA por volverse deshonesta, mientras que OpenAI tiene que ver con cómo se estaba ejecutando la herramienta. Lo que se necesita es que OpenAI detalle completamente su configuración y cómo falló”, dijo.

Se ha contactado a OpenAI para hacer comentarios.

Enlace fuente