Las advertencias de seguridad de Anthropic pueden haber salido mal: el gobierno desactivó su IA más potente

El gobierno de Estados Unidos el viernes ordenó a Anthropic desactivar inmediatamente el acceso a dos de sus modelos de IA más potentes, Claude Fable 5 y Claude Mythos 5, citando preocupaciones de seguridad nacional. Anthropic anunció en X que ha cumplido, pero dejó claro que cree que el gobierno cometió un error.

La directiva, que Anthropic dijo que recibió el viernes a las 5:21 p.m. ET, obliga a la empresa a deshabilitar ambos modelos para todos los usuarios en todo el mundo, no solo los ciudadanos extranjeros a los que estaba nominalmente dirigida la orden de control de exportaciones del gobierno. El acceso a otros modelos de Anthropic no se ve afectado.

La Situación de Mythos y Fable

¿Por qué importa todo esto? Mythos es el modelo de IA más capaz de Anthropic, uno que la empresa mostró a principios de abril y ha mantenido muy restringido desde entonces debido a lo que Anthropic describió como su capacidad excepcional para encontrar vulnerabilidades de seguridad en el software.

Según Anthropic, Mythos identificó fallas en todos los sistemas operativos principales y navegadores web que probó, por lo que en lugar de lanzarlo ampliamente, la empresa lanzó un programa controlado llamado Proyecto Glasswing, compartiéndolo con aproximadamente 50 organizaciones verificadas, incluidas Amazon, Apple, Google, Microsoft y CrowdStrike, para usarlo en trabajo de ciberseguridad defensiva.

Fable 5, lanzado hace apenas tres días, fue la respuesta de Anthropic a la obvia presión comercial: una versión de Mythos equipada con salvaguardas que bloquean respuestas en áreas de alto riesgo como ciberseguridad y biología, haciéndolo lo suficientemente seguro para lanzamiento público, argumentó la empresa. Era inmediatamente el modelo de IA más capaz disponible para el público, según pruebas de rendimiento de Vals AI, una empresa que rastrea el rendimiento de la tecnología de IA.

La Orden del Gobierno

La directiva del gobierno se enmarca como una acción de control de exportaciones, restringiendo el acceso de nacionales extranjeros a los modelos. Pero en una extensa publicación de blog, Anthropic dice que su comprensión es que la preocupación subyacente es un supuesto jailbreak de Fable 5. Hasta ahora, dice la empresa, el gobierno solo ha proporcionado evidencia verbal de un "posible jailbreak estrecho y no universal", uno que, como lo describe Anthropic, equivale a indicarle al modelo que lea una base de código específica.

Fuente: TechCrunch