Cómo las barreras de seguridad de la IA están obstaculizando el trabajo de investigadores de ciberseguridad ofensiva

Durante meses, los gigantes de la IA han ideado programas especialmente verificados y guardrails estrictos para limitar el uso de sus modelos por parte de hackers maliciosos. Pero estos límites ahora están obstaculizando el trabajo de defensores de redes legítimos, así como el de investigadores de ciberseguridad ofensiva.

En junio, el gobierno estadounidense impuso restricciones de control de exportación en los modelos de IA muy promocionados de Anthropic, Mythos y Fable. El movimiento fue motivado al menos en parte por un informe que afirmaba que era posible eludir los guardrails de los modelos diseñados para evitar que los usuarios los utilizaran para construir y ejecutar ataques cibernéticos maliciosos.

El Caso de Antropic y OpenAI

Independientemente de si el incidente fue realmente motivado por temores a un jailbreak, el hecho es que Anthropic ha comercializado repetidamente Mythos como una especie de ciber máquina del día del juicio final que solo puede entregarse a usuarios cuidadosamente verificados, e incluso entonces con guardrails estrictos. (Los controles de exportación en Fable 5 y Mythos 5 han sido levantados desde entonces. Fable 5 regresó al acceso general el 1 de julio; Mythos 5 ha sido reintroducido solo a organizaciones estadounidenses verificadas como parte del proceso de revisión del gobierno).

Ese tipo de gatekeeping no es único para Mythos. Tanto Anthropic con sus otros modelos como OpenAI ofrecen programas para investigadores de ciberseguridad a los que pueden solicitar ser verificados y, si son aprobados, acceder a modelos con menos restricciones de ciberseguridad: el programa Trusted Access for Cyber de OpenAI y el Cyber Verification Program de Anthropic.

Crítica de los Investigadores

Estos guardrails han sido ampliamente criticados, particularmente por investigadores cuyo trabajo es encontrar vulnerabilidades desconocidas en sistemas y idear formas de explotarlas antes de que lo hagan los criminales.

Durante una aparición reciente en un podcast de ciberseguridad, Mark Dowd, un investigador de seguridad conocido, dijo que "no me resulta realmente cómodo que estas compañías grandes al azar tomen decisiones arbitrarias sobre qué es seguro en seguridad y qué no".

Dowd ha pasado décadas encontrando y vendiendo "cero-días" —fallos de software previamente desconocidos y los exploits que aprovechan— a gobiernos occidentales, en lugar de reportarlos a los fabricantes de software para que sean parcheados. Los gobiernos pagan un precio premium por vulnerabilidades precisamente porque los investigadores de seguridad como Dowd mantienen la información confidencial mientras los gobiernos y militares construyen armas cibernéticas sobre ellas.

Fuente: TechCrunch