Anthropic ha planteado la idea de una “pausa” global en el desarrollo de la IA, y dijo que planea convocar a “responsables políticos” para discutir los peligros de la IA avanzada, en su último informe. liberar Validar las capacidades de su producto.
En una extensa publicación el jueves, Anthropic detalló su modelo de IA, el progreso de Claude hacia la “superación personal iterativa”, es decir, la capacidad de crear versiones mejores y más poderosas de sí mismo. La superación personal iterativa es un problema para los investigadores de seguridad de la IA, que ven la IA como un paso clave para volverse superinteligente y, por lo tanto, tener un impacto masivo en la humanidad.
El ampliamente leído AI 2027 Doomsday presenta este concepto ampliamente el escenario el año pasado, que imagina a agentes de IA diseñando versiones cada vez más inteligentes de sí mismos, una de las cuales eventualmente matará a toda la humanidad con un arma biológica para dejar espacio a más centros de datos y paneles solares.
La publicación de Anthropic señaló una “tendencia” en las crecientes capacidades de Claude que, “tomada suficientemente y con suficiente cómputo… apunta a un sistema de IA capaz de diseñar y desarrollar de forma totalmente autónoma su propio sucesor”. Esto, dijo Anthropic, podría aumentar el riesgo de que “los humanos pierdan el control sobre los sistemas de inteligencia artificial”.
Para abordar esto, Anthropic propone organizar conversaciones donde “los responsables políticos, los investigadores, la sociedad civil y otras empresas de IA puedan ayudar a responder algunas de las preguntas que plantea este artículo”.
La noticia viene acompañada de un informe separado del Financial Times de que las empresas estadounidenses de inteligencia artificial tienen ingenieros integrados. adentro Se dice que los ingenieros están ayudando a la NSA a utilizar el modelo Mythos de Anthropic para operaciones ofensivas de ciberseguridad, a pesar de una batalla legal con el Pentágono por el uso de su equipo por parte de la Agencia de Seguridad Nacional.
Si el llamado a una conversación global sobre IA corre el riesgo de entrar en conflicto con el apoyo de la inteligencia estadounidense (potencialmente) a atacar a Irán y China con armas cibernéticas, ninguno de los acontecimientos es “sorprendente” dadas las acciones pasadas de las empresas de IA, dijo Steven Murdoch, profesor de la University College London.
“Los antropólogos pueden dar la impresión de ser cálidos y confusos, pero su definición de seguridad de la IA es estrecha. Apoyar a las autoridades estadounidenses en el desarrollo de capacidades ofensivas nunca fue algo que dijeron”, dijo.
Murdoch dijo que la publicación de Anthropic no demuestra ningún cambio radical en el avance de las capacidades de IA.
“Es cierto que hay alguna evidencia de que las capacidades de IA han aumentado y continúan aumentando sin límites aparentes inmediatamente”, dijo, pero agregó: “No creo que nada haya cambiado fundamentalmente hoy, por eso Anthropic publicó este artículo”.
Los avances que Anthropic detalla en su publicación no equivalen a que la IA se mejore iterativamente a sí misma, al menos no todavía. En cambio, la compañía dijo que ahora se ha realizado una cantidad sustancial de trabajo con la IA para mejorar sus sistemas de IA. Claude es bueno “ejecutando pruebas”, dice, o al menos acelerando ciertas partes del código.
Al igual que otros sistemas de inteligencia artificial, Claude parece prosperar en tareas más desafiantes. Los antropólogos describen esto como “dirigir la investigación” y “ofrecer los propios experimentos”, aunque estos logros se han producido dentro de estrictas limitaciones y parecen limitarse al trabajo relacionado con la codificación.
La calidad del código escrito por IA también estaba mejorando, dijo Anthropic: “A partir de mayo de 2026, más del 80% del código que integramos en la base de código de Anthropic está escrito en la nube”.
Murdoch dijo que Anthropic pide una “pausa temporal” en la IA hizo eco La empresa hizo otras propuestas sobre la seguridad de la IA a lo largo del año, al igual que planes para involucrar a los responsables políticos. “Esto es un recordatorio de que están preocupados y que lo han estado durante muchos años”.
“Estoy seguro de que la atención es bienvenida, pero repito, no es algo nuevo. Los antropólogos han estado tratando de llamar la atención de los responsables políticos desde su fundación”.
Hace dos meses, Anthropic anunció (pero se negó a publicar) Mythos, un modelo de inteligencia artificial que era demasiado poderoso para lanzarlo al público debido a preocupaciones de ciberseguridad. El anuncio generó gran fanfarria y llamó la atención del Tesoro de Estados Unidos. el secretarioScott Besant y MI5.
Algunos expertos, sin embargo, han sugerido que puede haber más exageración que sustancia detrás del anuncio de Mythos de Anthropic, especialmente dada la vaguedad con la que la compañía describió algunas de las capacidades de Mythos. Heidi Khalaf, científica jefe de IA del AI Now Institute, calificó el anuncio de Mythos como “una publicación de marketing”.
Anthropic solicitó una oferta pública inicial (IPO) esta semana que podría valorar la empresa en 1 billón de dólares. Se contactó a la empresa para solicitar comentarios.
