Las advertencias de seguridad de Anthropic pueden haber tenido efecto contraproducente: el gobierno desactivó su IA más poderosa

El gobierno estadounidense el viernes ordenó a Anthropic desactivar inmediatamente el acceso a dos de sus modelos de IA más potentes: Claude Fable 5 y Claude Mythos 5, citando preocupaciones de seguridad nacional. Anthropic anunció en X que ha cumplido, pero dejó claro que piensa que el gobierno se equivocó en esto.

La directiva, que Anthropic dijo que recibió el viernes a las 5:21 pm ET, obliga a la compañía a desactivar ambos modelos para todos los usuarios en todo el mundo, no solo los ciudadanos extranjeros a los que aparentemente se dirigía la orden de control de exportaciones del gobierno. El acceso a otros modelos de Anthropic no se ve afectado.

¿Por qué importa todo esto? Mythos es el modelo de IA más capaz de Anthropic, uno que la compañía mostró a principios de abril y ha mantenido estrictamente restringido desde entonces debido a lo que Anthropic describió como su capacidad excepcional para encontrar vulnerabilidades de seguridad en software. Según Anthropic, Mythos identificó defectos en cada sistema operativo importante y navegador web que probó, así que en lugar de lanzarlo ampliamente, la compañía lanzó un programa controlado llamado Proyecto Glasswing, compartiéndolo con aproximadamente 50 organizaciones verificadas, incluyendo Amazon, Apple, Google, Microsoft, y CrowdStrike, para usar en trabajo defensivo de ciberseguridad.

Fable 5, lanzado hace apenas tres días, fue la respuesta de Anthropic a la obvia presión comercial: una versión de Mythos equipada con protecciones que bloquean respuestas en áreas de alto riesgo como ciberseguridad y biología, haciéndolo suficientemente seguro para lanzamiento general, argumentó la compañía. Era inmediatamente el modelo de IA más capaz disponible al público, según pruebas de referencia de Vals AI, una compañía que rastrea el desempeño de tecnología de IA.

La directiva del gobierno está enmarcada como una acción de control de exportaciones, restringiendo acceso a ciudadanos extranjeros a los modelos. Pero en una entrada de blog extensa, Anthropic dice su entendimiento es que la preocupación subyacente es un supuesto jailbreak de Fable 5. Hasta ahora, dice la compañía, el gobierno ha proporcionado solo evidencia verbal de un "potencial jailbreak estrecho y no universal", uno que, tal como Anthropic lo describe, equivale a pedirle al modelo que lea un código base específico.

Anthropic argumenta que las capacidades aparentemente causando preocupación al gobierno ya están disponibles en otros modelos públicamente accesibles. La compañía también señala que su equipo de seguridad había trabajado en el problema y que sus propias advertencias sobre riesgos potenciales de seguridad en Mythos pueden haber contribuido a que el gobierno tomara esta acción.

Fuente: TechCrunch