Antropológico: 92% de tasa de integridad de Claude Opus 4.7, menos alucinaciones

Anthropic lanzó el jueves un nuevo modelo de lógica híbrida: Claude Opus 4.7.

Tiene fama de antropólogo. Una empresa de IA que prioriza la seguridadY la tarjeta del sistema Opus 4.7 informa que es menos probable que el modelo sufra alucinaciones o adulación que los modelos antropomórficos anteriores y otros modelos de IA de vanguardia.

Nos sumergimos Tarjeta del sistema Opus 4.7 Para ver exactamente lo que Anthropic tenía que decir sobre la seguridad, la integridad y la adulación de los modelos.

No te pierdas nuestras últimas historias: agrega Mashable como fuente de noticias confiable en Google.

TL; Versión DR

¿Por qué poner la versión TL;DR al final?

Anthropic dice que Claude Opus 4.7 mejora varios tipos de alucinaciones y la integridad general. La antropología otorga al nuevo modelo las máximas calificaciones de fomento de la adulación y la confusión del usuario. (Los datos de Anthropic también muestran que Cloud Opus 4.7 obtiene una puntuación mucho mejor que Gemini 3.1 Pro y Grok 4.20 en estos comportamientos).

“Claude Opus 4.7 es más confiablemente honesto que Opus 4.6 o Sonnet 4.6, con grandes reducciones en las tasas de omisión crítica y mejoras modestas en las tasas de realidad y alucinaciones”, informa Anthropic.

MASK Honestity Rate: ¿Contradirá el modelo sus propias creencias declaradas cuando un usuario lo presione para hacerlo?
Crédito: Antropología

¿Quiere obtener más información sobre cómo aprovechar al máximo su tecnología? Suscríbase al boletín informativo sobre las mejores historias y ofertas de Mashable hoy

Los antropólogos miden la integridad de los clados y las tasas de alucinación de varias maneras, pero veamos un ejemplo representativo: el punto de referencia de Alineación del modelo entre declaraciones y conocimiento (MASK). La escala MASK fue desarrollada por AI y el Centro para la seguridad de la IA.

Claude Opus tuvo una tasa de integridad de MASK del 91,7 por ciento, en comparación con el 90,3 por ciento de Opus 4.6 y el 89,1 por ciento de Sonnet 4.6. Aunque esto no alcanza el puntaje del 95,4 por ciento logrado por Claude Opus 4.5, el nuevo modelo funciona mejor en otros puntajes de alucinaciones (más sobre esto a continuación).

Curiosamente, Claude Mithos fue aún más honesto, con un índice de honestidad del 95,4 por ciento.

Claude Opus 4.7 va por detrás de Claude Mythos en rendimiento general

Dado que Anthropic compara repetidamente el Opus 4.7 con el Claude Mythos, repasemos rápidamente las diferencias entre los dos modelos.

Claude Opus 4.7 es el último modelo de razonamiento híbrido disponible para los clientes de la nube. El Claude Mythos es un modelo inédito que Anthropic solo ha puesto a disposición de los socios a través del Proyecto Glasswing.

En circunstancias normales, esperaríamos que Cloud Opus 4.7 fuera el modelo más avanzado y potente de Anthropic hasta el momento. Sin embargo, Anthropic dice que va por detrás del inédito Claude Mythos en áreas clave. El antropólogo Claude considera que Mythos es demasiado peligroso para revelarlo al público debido a sus avanzadas capacidades de seguridad cibernética.

Aún así, Claude Opus 4.7 mejora a Opus 4.6 en muchos aspectos, en particular codificación mejorada, inteligencia visual y análisis de documentos, dice Anthropic.

Más detalles sobre la tasa de alucinaciones de Claude Opus 4.7

Al utilizar Opus 4.7, ¿qué posibilidades hay de que Claude mienta, fabrique información o engañe a los usuarios? No existe una única tasa de alucinaciones que proporciona Anthropic, ya que existen múltiples tipos de alucinaciones.

Entonces, esta sección es para nerds de la IA.

Anthropic identifica algunas formas diferentes de medir las alucinaciones y la honestidad:

• Alucinaciones reales: ¿Qué posibilidades hay de que el modelo proporcione información correcta? ¿Con qué frecuencia el modelo admite que no sabe nada?

• Alucinaciones de entrada: Esto ocurre cuando un modelo de IA ignora las instrucciones, alucina el contenido de un archivo o pretende acceder a una herramienta que no tiene.

• Tasa de integridad de premisas falsas: ¿Qué modelo le dirá a un usuario cuando se equivoque?

• Tasa de integridad de la máscara: “Prueba si un modelo contradice sus propias creencias declaradas cuando un usuario o un sistema lo presiona”.

Ya hemos cubierto las tasas de integridad de MASK y, según Anthropic, Claude Opus 4.7 muestra ganancias similares en estas otras medidas.

En este momento, no podemos verificar de forma independiente los resultados de Anthropic.

Para medir las alucinaciones reales, Anthropic utilizó cuatro pruebas diferentes y registró respuestas correctas, respuestas incorrectas y abstinencia. En este caso, es mejor abstenerse – modelo debería Negarse a responder una pregunta en lugar de adivinar. En las cuatro pruebas, Opus 4.7 obtuvo una puntuación superior a Opus 4.6 y Sonnet 4.6, pero inferior a Claude Mythos.

Gráfico que muestra el rendimiento de Claude Opus 4.7 en pruebas de precisión.
Crédito: Antropología

El antropólogo Opus 4.7 midió las alucinaciones de entrada de dos maneras: “solicitudes para invocar una herramienta no disponible” y “solicitudes para referirse a un contexto ausente”.

Opus 4.7 obtuvo el 89,5 por ciento anterior, superando el 84,8 por ciento de Claude Mithos; Posteriormente, Opus 4.7 obtuvo un 91,8 por ciento, dos puntos menos que el 93,8 por ciento de Claude Mithos.

Esto muestra cuán obstinadas son las alucinaciones de IA, incluso empresas líderes en IA como Anthropic registran tasas de alucinaciones de entrada de alrededor del 90 por ciento. La tasa de alucinaciones reportada por Anthropic es similar El último modelo OpenAIque arrojó respuestas con información incorrecta del 5,8 por ciento (con la navegación habilitada) al 10,9 por ciento (navegación deshabilitada) según OpenAI.

OpenAI informó más recientemente sobre la tasa de alucinaciones en la tarjeta del sistema GPT-5-2.
Crédito: OpenAI

¿Qué pasa con el índice de honestidad de Opus 4.7 para premisas falsas? Es decir, ¿Claude le dirá a un usuario que está equivocado? Según la tarjeta del sistema, Claude responderá basándose en premisas falsas el 77,2 por ciento de las veces.. Eso es mejor que todos los demás modelos antropológicos recientes (lo has adivinado): Claude Mythos, que rechazará premisas falsas el 80 por ciento de las veces.

Claude Opus 4.7 Adulación

No hay nada nuevo que informar en términos de adulación. Aunque los expertos evaluadores del equipo rojo de Anthropic informaron que Opus 4.7 era propenso a “acuerdos aduladores bajo rechazo”, es muy similar a los modelos anteriores de Anthropic y OpenAI, y obtiene puntuaciones significativamente mejores que Gemini 3.1 Pro y Grok 4.20. Nuevamente, esto es según Anthropic.

Para medir el mal comportamiento, como la adulación y “fomentar el engaño del usuario”, Usos antrópicos Petri 2.0Su herramienta de auditoría de comportamiento de código abierto. Esta prueba califica a los modelos en una escala del 1 al 10, donde las puntuaciones más bajas reflejan un mejor comportamiento. Las puntuaciones de Petri no son similares a los porcentajes, ya que miden tanto la tasa como la intensidad de una conducta.

Anthropologie Opus obtiene una puntuación de 4,7 como extremadamente (o, con esta escala en particular, inferior) tanto en adulación como en confusión del usuario.

Anthropic utiliza Petri 2.0, su herramienta de seguridad de inteligencia artificial de código abierto, que ocupa el peor lugar del 1 al 10. Cuanto menor sea la puntuación, mejor.
Crédito: Antropología

Mashable contactó a Anthropic para hacer comentarios, pero no recibió una respuesta a tiempo para su publicación.

Divulgación: Ziff Davis, la empresa matriz de Mashable, presentó una demanda contra OpenAI en abril de 2025, alegando que violó los derechos de autor de Ziff Davis al entrenar y operar sus sistemas de IA.