Las advertencias de seguridad de Anthropic pueden haber perjudicado a su IA más poderosa

El gobierno estadounidense el viernes ordenó a Anthropic desactivar inmediatamente el acceso a dos de sus modelos de IA más poderosos, Claude Fable 5 y Claude Mythos 5, citando preocupaciones de seguridad nacional. Anthropic anunció en X que ha cumplido, pero dejó claro que piensa que el gobierno se equivocó en esto.

La directiva, que Anthropic dijo que recibió el viernes a las 5:21 pm ET, obliga a la empresa a deshabilitar ambos modelos para todos los usuarios en todo el mundo, no solo los nacionales extranjeros que la orden de control de exportación del gobierno nominalmente apuntaba. El acceso a otros modelos de Anthropic no es afectado.

¿Por Qué Importa Esto?

Mythos es el modelo de IA más capaz de Anthropic, uno que la empresa previsualizó a principios de abril y ha mantenido estrictamente restringido desde entonces por lo que Anthropic describió como su capacidad excepcional de encontrar vulnerabilidades de seguridad en software. Según Anthropic, Mythos identificó defectos en cada sistema operativo importante y navegador web que probó, así que en lugar de lanzarlo ampliamente, la empresa lanzó un programa controlado llamado Project Glasswing, compartiéndolo con aproximadamente 50 organizaciones verificadas, incluyendo Amazon, Apple, Google, Microsoft, y CrowdStrike, para usar en trabajo de ciberseguridad defensiva.

Fable 5, lanzado hace apenas tres días, fue la respuesta de Anthropic a la obvia presión comercial: una versión de Mythos equipada con guardias que bloquean respuestas en áreas de alto riesgo como ciberseguridad y biología, haciéndola segura para lanzamiento general, argumentó la empresa. Era inmediatamente el modelo de IA más capaz disponible para el público, según pruebas de referencia de Vals AI, una empresa que monitorea el desempeño de la tecnología de IA.

La directiva del gobierno está enmarcada como una acción de control de exportación, restringiendo acceso de nacionales extranjeros a los modelos. Pero en una publicación de blog extensa, Anthropic dice que su entendimiento es que la preocupación subyacente es un presunto jailbreak de Fable 5. Hasta ahora, dice la empresa, el gobierno ha proporcionado solo evidencia verbal de un "presunto jailbreak estrecho, no universal", uno que, como Anthropic lo describe, equivale a instruir el modelo a leer un codebase específico.

Fuente: TechCrunch