Cómo las barreras de seguridad de IA están impidiendo el trabajo de investigadores de ciberseguridad ofensiva

Durante meses, los gigantes de la IA han ideado programas especiales verificados y guardrails estrictos para limitar el uso de sus modelos por parte de piratas informáticos maliciosos. Pero estos límites ahora están obstaculizando el trabajo de defensores de redes legítimos, así como el de investigadores de ciberseguridad ofensiva.

En junio, el gobierno estadounidense impuso restricciones de control de exportación en los modelos de IA muy promocionados de Anthropic, Mythos y Fable. El movimiento fue impulsado al menos en parte por un informe que afirmaba que era posible eludir los guardrails de los modelos diseñados para evitar que los usuarios los utilizaran para construir y ejecutar ciberataques maliciosos.

Gatekeeping de modelos de IA

Independientemente de si el incidente fue realmente motivado por temores a una evasión de seguridad, el hecho es que Anthropic ha comercializado repetidamente Mythos como una especie de máquina de ciberarnés que solo se puede dar a usuarios cuidadosamente verificados, e incluso entonces con guardrails estrictos. Los controles de exportación en Fable 5 y Mythos 5 se han levantado desde entonces. Fable 5 volvió al acceso general el 1 de julio; Mythos 5 se ha reintroducido solo a organizaciones estadounidenses verificadas como parte del proceso de revisión del gobierno.

Ese tipo de gatekeeping no es exclusivo de Mythos. Tanto Anthropic, con sus otros modelos, como OpenAI ofrecen programas a investigadores de ciberseguridad a los que pueden solicitar ser verificados y, si se aprueban, acceder a modelos con menos restricciones de ciberseguridad: el programa de Acceso de Confianza para Ciberseguridad de OpenAI y el Programa de Verificación de Ciberseguridad de Anthropic.

Estos guardrails han sido ampliamente criticados, particularmente por investigadores cuyo trabajo es encontrar vulnerabilidades desconocidas en sistemas y diseñar formas de explotarlas antes de que lo hagan los criminales.

Las críticas de los expertos

Durante una aparición reciente en un podcast de ciberseguridad, Mark Dowd, un investigador de seguridad bien conocido, dijo que "no me resulta realmente cómodo que estas grandes empresas aleatorias tomen decisiones arbitrarias sobre lo que es seguro en seguridad y lo que no".

Dowd ha pasado décadas encontrando y vendiendo "días cero" (errores de software previamente desconocidos y los exploits que sacan provecho de ellos) a gobiernos occidentales, en lugar de reportarlos a los fabricantes de software para que se parcheen. Los gobiernos pagan una prima por las vulnerabilidades precisamente porque garantizan una ventaja estratégica antes de que el público en general las aprenda.

Fuente: TechCrunch