Las advertencias de seguridad de Anthropic podrían haber provocado un efecto contraproducente: el gobierno ha desconectado su IA más poderosa

El gobierno estadounidense ordenó el viernes a Anthropic que apague inmediatamente el acceso a dos de sus modelos de IA más poderosos, Claude Fable 5 y Claude Mythos 5, citando preocupaciones de seguridad nacional. Anthropic anunció en X que ha cumplido, pero dejó claro que cree que el gobierno cometió un error.

La directiva, que Anthropic dijo haber recibido el viernes a las 5:21 pm ET, obliga a la compañía a deshabilitar ambos modelos para todos los usuarios en todo el mundo, no solo los ciudadanos extranjeros en los que la orden de control de exportaciones del gobierno se suponía que apuntaba nominalmente. El acceso a otros modelos de Anthropic no se ve afectado.

Por qué esto importa: Mythos y Fable 5

¿Por qué es importante cualquiera de esto? Mythos es el modelo de IA más capaz de Anthropic, uno que la compañía presentó en vista previa a principios de abril y ha mantenido muy restringido desde entonces debido a lo que Anthropic describió como su capacidad excepcional para encontrar vulnerabilidades de seguridad en software. Según Anthropic, Mythos identificó fallas en todos los sistemas operativos principales y navegadores web que probó, así que en lugar de lanzarlo ampliamente, la compañía lanzó un programa controlado llamado Project Glasswing, compartiéndolo con aproximadamente 50 organizaciones verificadas, incluyendo Amazon, Apple, Google, Microsoft y CrowdStrike, para usar en trabajo de ciberseguridad defensiva.

Fable 5, lanzado hace solo tres días, fue la respuesta de Anthropic a la presión comercial obvia: una versión de Mythos equipada con barreras de protección que bloquean respuestas en áreas de alto riesgo como ciberseguridad y biología, haciéndola lo suficientemente segura para lanzamiento general, argumentó la compañía. Era inmediatamente el modelo de IA más capaz disponible para el público, según pruebas de desempeño de Vals AI, una compañía que rastrea el desempeño de la tecnología de IA.

La directiva del gobierno y el jailbreak cuestionado

La directiva del gobierno se presenta como una acción de control de exportaciones, restringiendo el acceso de ciudadanos extranjeros a los modelos. Pero en una larga publicación de blog, Anthropic dice que su comprensión es que la preocupación subyacente es un supuesto jailbreak de Fable 5. Hasta ahora, dice la compañía, el gobierno solo ha proporcionado pruebas verbales de un "potencial jailbreak estrecho, no universal" que, como lo describe Anthropic, equivale a solicitar al modelo que lea un código fuente específico.

El incidente ha desencadenado un intenso debate en la industria tecnológica sobre si las medidas de seguridad que revelan vulnerabilidades pueden accidentalmente atraer atención regulatoria no deseada, especialmente cuando compañías competidoras o inversores corporativos alertan a las autoridades sobre preocupaciones.

Implicaciones más amplias

Esto plantea preguntas fundamentales sobre cómo debe gobernarse la IA, si la transparencia sobre seguridad es contraproducente, y si una compañía puede ser penalizada por revelar voluntariamente sus propias limitaciones de seguridad. Para Anthropic, su enfoque proactivo en seguridad puede haber tenido el efecto opuesto al previsto.

Fuente: TechCrunch