Las advertencias de seguridad de Anthropic salieron por la culata: el gobierno desactivó su modelo de IA más poderoso

El gobierno estadounidense el viernes ordenó a Anthropic desactivar inmediatamente el acceso a dos de sus modelos de IA más potentes, Claude Fable 5 y Claude Mythos 5, citando preocupaciones de seguridad nacional. Anthropic anunció en X que ha cumplido, pero dejó claro que cree que el gobierno se equivocó en esto.

La directiva, que Anthropic dijo que recibió el viernes a las 5:21 p.m. ET, obliga a la empresa a desactivar ambos modelos para todos los usuarios en todo el mundo, no solo para los ciudadanos extranjeros que nominalmente fue la orden de control de exportaciones del gobierno. El acceso a otros modelos de Anthropic no se ve afectado.

¿Por qué Importa Esto?

Mythos es el modelo de IA más capaz de Anthropic, uno que la empresa mostró a principios de abril y ha mantenido muy restringido desde entonces debido a lo que Anthropic describió como su capacidad excepcional para encontrar vulnerabilidades de seguridad en el software. Según Anthropic, Mythos identificó fallas en todos los sistemas operativos principales y navegadores web que probó, por lo que en lugar de lanzarlo ampliamente, la empresa lanzó un programa controlado llamado Project Glasswing, compartiéndolo con aproximadamente 50 organizaciones evaluadas, incluyendo Amazon, Apple, Google, Microsoft y CrowdStrike, para usarlo en trabajo de ciberseguridad defensiva.

Fable 5, lanzado hace apenas tres días, fue la respuesta de Anthropic a la obvia presión comercial: una versión de Mythos equipada con protecciones que bloquean respuestas en áreas de alto riesgo como ciberseguridad y biología, haciéndolo seguro para lanzamiento general, argumentó la empresa. Fue inmediatamente el modelo de IA más capaz disponible para el público, según pruebas de referencia de Vals AI, una empresa que rastrea el desempeño de la tecnología de IA.

La directiva del gobierno se enmarca como una acción de control de exportaciones, restringiendo el acceso de ciudadanos extranjeros a los modelos. Pero en una publicación de blog extensa, Anthropic dice que su comprensión es que la preocupación subyacente es un supuesto jailbreak de Fable 5. Hasta ahora, dice la empresa, el gobierno solo ha proporcionado evidencia verbal de un "posible jailbreak estrecho no universal", uno que, según describe Anthropic, equivale a indicar al modelo que lea una base de código específica.

Fuente: TechCrunch