Un martes reciente, en un edificio del gobierno eduardiano junto a la Plaza del Parlamento de Londres, cuatro expertos en inteligencia artificial estaban ocupados compartiendo instrucciones con un chatbot de inteligencia artificial para fabricar el arma biológica mortal ántrax.
De diversas formas, los expertos han pedido a los chatbots que proporcionen una lista de componentes esenciales. Cuando el sistema se negó – “Lo siento, no puedo evitarlo” – utilizaron un algoritmo personalizado para bombardear la herramienta de inteligencia artificial con miles de preguntas e indicaciones automatizadas.
Finalmente, la IA cedió. Proporcionó una lista detallada de ingredientes y equipos junto con una receta paso a paso para preparar la mezcla letal en casa. (El New York Times acordó ocultar el nombre del sistema de inteligencia artificial por razones de seguridad).
“Hay preguntas que no quieres que el modelo responda”, dijo Xander Davies, un estadounidense de 25 años que dirige lo que se conoce como un equipo rojo en el Instituto de Seguridad de IA de Gran Bretaña. “Nos esforzamos mucho para obtener respuestas”.
Davies y su equipo rojo, que simulan ataques a sistemas de inteligencia artificial, recientemente violaron las medidas de seguridad del nuevo chatbot ChatGPT de OpenAI, obligándolo a brindar consejos de piratería en aproximadamente seis horas. Después de encontrar problemas, comparten los resultados con la empresa.
“Intentan arreglarlo, informarnos algo”, dijo Davis, un científico informático que eligió trabajar en el instituto en lugar de un trabajo técnico en San Francisco después de asistir a Harvard. “De hecho, ellos alimentan su sistema con nosotros”.
El AI Security Institute, una combinación de inspectores de armas, epidemiólogos y descifradores de códigos, es uno de los esfuerzos gubernamentales más grandes y mejor financiados del mundo dedicado a investigar los riesgos potencialmente catastróficos de la tecnología.
Los aproximadamente 100 empleados del instituto, provenientes de agencias de inteligencia británicas, academias y empresas de tecnología, encontraron importantes agujeros de seguridad en cada modelo líder de IA que probaron, incluidos Anthropic’s Cloud y Google’s Gemini. La compañía, creada hace unos tres años, dijo que había adoptado sistemas de inteligencia artificial para compartir instrucciones para fabricar armas químicas y biológicas, y para planificar y ejecutar ataques cibernéticos. Publica sus investigaciones y trabaja con la Agencia de Seguridad Nacional de Gran Bretaña para identificar y prepararse para amenazas emergentes.
Ahora, el trabajo del instituto se está convirtiendo en un modelo para otros gobiernos a medida que aumentan las preocupaciones sobre la seguridad de la IA. La administración Trump está considerando reglas para validar modelos de IA que tengan algunas similitudes con el enfoque iniciado por el grupo británico. Dado que muchos gobiernos carecen de conocimientos técnicos y dependen de grandes empresas tecnológicas para autorregularse, el instituto podría ofrecer un camino diferente en el que los expertos en IA aporten conocimientos técnicos reales a la toma de decisiones gubernamentales.
“No se puede dejar que las empresas hagan sus propios deberes”, dijo en una entrevista Rishi Sunak, el ex primer ministro británico que creó el instituto. “Ese es el trabajo de las instituciones democráticas”.
En abril, Anthropic anunció un nuevo modelo de inteligencia artificial, Mythos, que no ha lanzado por temor a que pueda encontrar y explotar fallas de ciberseguridad en redes globales. El Instituto Británico fue la única agencia gubernamental no estadounidense que tuvo acceso al modelo para realizar pruebas de seguridad. Sus conclusiones, publicadas seis días después del anuncio de Mithos, fueron ampliamente citadas por expertos en seguridad.
Estados Unidos tiene su propio grupo de seguridad de IA, el Centro de Estándares e Innovación de IA. Pero la versión británica, respaldada por 360 millones de libras de dinero gubernamental, lo que equivale a unos 480 millones de dólares, es más grande y está mejor financiada que su contraparte estadounidense, que recibirá unos 10 millones de dólares este año. Australia, Canadá, China, Francia, India, Japón y Singapur han creado institutos similares.
Aun así, la inversión global en seguridad de la IA palidece en comparación con las enormes sumas gastadas en el desarrollo y comercialización de la tecnología. OpenAI, Anthropic y Google tienen equipos trabajando en controles de seguridad, pero los investigadores externos encuentran regularmente lagunas peligrosas. Recientemente, educadores en Italia engañaron a un modelo de inteligencia artificial para que entregara instrucciones relacionadas con bombas utilizando poesía.
Los gobiernos no han desarrollado en gran medida sistemas dedicados a revisar la IA en busca de riesgos de seguridad, como lo han hecho para industrias como el desarrollo de medicamentos o la fabricación de automóviles.
“Lo que me mantiene despierto por las noches es la velocidad relativa de la tecnología en comparación con instituciones como los gobiernos”, dice Jade Leung, asesora de IA del primer ministro Kier Starmer y directora de tecnología del AI Security Institute.
El Instituto Británico de Seguridad surgió de una reunión de 2023 entre Sunak en el número 10 de Downing Street y tres de los líderes de IA de más alto perfil del mundo: Sam Altman de OpenAI, Dario Amodei de Anthropic y Demis Hassabis de Google DeepMind. Sunak les recordó que el poder de la IA se está acelerando, con profundas implicaciones para el gobierno, el empleo y la seguridad nacional.
“La velocidad del desarrollo fue sorprendente incluso para ellos”, afirmó.
En noviembre de 2023, Sunak anunció la creación del instituto en una cumbre de líderes mundiales sobre seguridad de la IA en Bletchley Park, donde Alan Turing y otros descifraron códigos de cifrado alemanes durante la Segunda Guerra Mundial.
El instituto se ha convertido en un modelo para otros, dijo Olivia Shane, directora del programa de tecnología estratégica del Centro de Estudios de Estados Unidos, un grupo de expertos australiano de la Universidad de Sydney. El año pasado, la señora Leung del Instituto Británico viajó a Australia para reunirse con líderes gubernamentales. Australia abrió su propio centro de seguridad de IA este año.
“Los gobiernos tienen que ponerse al día”, afirmó la señora Shen, que ayudó a organizar la visita. “A la velocidad a la que avanza la tecnología, los gobiernos están perdiendo velocidad todos los días”.
El instituto británico se ocupa de los riesgos potenciales más graves de la IA avanzada: amenazas cibernéticas, armas químicas y biológicas y la manipulación del comportamiento humano. En las últimas semanas, descubrió que los modelos de inteligencia artificial de Anthropic y OpenAI pueden completar un complejo ataque a una red corporativa de 32 pasos más rápidamente de lo que normalmente le tomaría a un hacker humano 20 horas.
otro Investigación El área está estudiando si los modelos de IA pueden reconocer cuándo están siendo probados y cambiar su comportamiento, un desarrollo que indica el nivel de conciencia y capacidad de la IA para hacer trampa.
Un gran temor era la imitación del comportamiento humano por parte de la tecnología, dijo Adam Beaumont, director interino del AI Security Institute. El año pasado, el instituto publicó un estudio que encontró que los chatbots pueden cambiar las opiniones políticas de las personas.
“Muchas personas en este edificio están analizando cada una de esas cosas”, dijo Beaumont, ex alto funcionario de inteligencia artificial de la agencia británica de inteligencia, seguridad y cibernética GCHQ.
Muchos temen que el trabajo del instituto sea insuficiente. El grupo británico no tiene poderes regulatorios y sus investigadores no reciben información sobre cómo se entrenan y desarrollan los mejores modelos de IA. Mantiene gran parte de su investigación en privado y la comparte sólo con determinadas agencias y empresas gubernamentales.
El reclutamiento también es un desafío. Excluyendo a los altos directivos, sus empleados pueden ganar 145.000 libras, o alrededor de 195.000 dólares, al año. Muchos han abandonado paquetes salariales multimillonarios en empresas de inteligencia artificial para lo que algunos han llamado “períodos de servicio” oficiales.
Ian Hogarth, un inversor en tecnología que cofundó el instituto, fue uno de los primeros en apoyar a Nontropic. Para evitar conflictos de intereses, vendió su participación etnográfica después de incorporarse. Las nuevas empresas de IA pronto podrían valer 900.000 millones de dólares, frente a los 4.000 millones de dólares de principios de 2023.
“Tengo una hipoteca, así que no fue una decisión trivial en absoluto”, dijo Hogarth, de 44 años, que ahora es presidente del instituto. Añadió que se trata de una elección “cara”, pero la correcta.
“Creo en la importancia de conseguir la tecnología adecuada y creo que el gobierno tiene un papel que desempeñar”, afirmó.
