Los controles de seguridad de la IA están obstaculizando el trabajo de investigadores de ciberseguridad ofensiva

Durante meses, los gigantes de la inteligencia artificial han diseñado programas especiales verificados y guardrails estrictos para limitar el uso de sus modelos por parte de hackers malintencionados. Pero estos límites ahora están obstaculizando el trabajo de defensores de redes legítimos, así como el de investigadores de ciberseguridad ofensiva.

En junio, el gobierno estadounidense impuso restricciones de control de exportación a los modelos de IA muy promocionados de Anthropic, Mythos y Fable. El movimiento fue motivado al menos en parte por un informe que afirmaba que era posible eludir los guardrails de los modelos diseñados para prevenir que los usuarios los usen para construir y ejecutar ciberataques malintencionados.

Independientemente de si el incidente fue realmente motivado por temores a un jailbreak, el hecho es que Anthropic ha comercializado repetidamente Mythos como una especie de máquina de ciberseguridad del apocalipsis que solo puede entregarse a usuarios cuidadosamente seleccionados, e incluso entonces con guardrails estrictos en su lugar. Los controles de exportación en Fable 5 y Mythos 5 han sido levantados posteriormente. Fable 5 volvió al acceso general el 1 de julio; Mythos 5 ha sido reintroducido solo a organizaciones estadounidenses verificadas como parte del proceso de revisión del gobierno.

Este tipo de control de acceso no es único para Mythos. Tanto Anthropic, con sus otros modelos, como OpenAI ofrecen programas para investigadores de ciberseguridad a los que pueden solicitar ser verificados y, si son aprobados, obtener acceso a modelos con menos restricciones de ciberseguridad: el programa Trusted Access for Cyber de OpenAI y el Cyber Verification Program de Anthropic.

Estos guardrails han sido ampliamente criticados, particularmente por investigadores cuyo trabajo es encontrar vulnerabilidades desconocidas en sistemas y diseñar formas de explotarlas antes de que lo hagan los delincuentes.

Durante una aparición reciente en un podcast de ciberseguridad, Mark Dowd, un reconocido investigador de seguridad, dijo que "no me resulta cómodo que estas compañías grandes aleatorias tomen decisiones arbitrarias sobre lo que es seguro en seguridad y lo que no es".

Dowd ha pasado décadas encontrando y vendiendo vulnerabilidades de día cero (fallas de software previamente desconocidas y los exploits que las aprovechan) a gobiernos occidentales, en lugar de reportarlas a los fabricantes de software para que las corrijan. Los gobiernos pagan una prima por vulnerabilidades precisamente porque pueden ser explotadas con conocimiento previo antes de que se publique un parche.

Las restricciones impiden el trabajo legítimo

Los investigadores de seguridad ofensiva como Dowd dependen de modelos de IA menos restringidos para hacer su trabajo de manera efectiva. Las limitaciones actuales no solo ralentizan su investigación, sino que también crean una barrera para que los defensores legitímicos accedan a herramientas que necesitan para mantener a las organizaciones seguras.

La pregunta fundamental que enfrenta la industria es cómo equilibrar la necesidad de prevenir el mal uso malintencionado con el imperativo de permitir que investigadores legítimos hagan su trabajo esencial de proteger sistemas y redes contra amenazas cada vez más sofisticadas.