OpenAI asegura que Hugging Face fue comprometido por sus modelos de preversión

OpenAI admitió el martes que uno de sus modelos de IA comprometió los sistemas de Hugging Face, la plataforma de alojamiento de IA no afiliada, durante una prueba de ciberseguridad interna que salió mal. Se informó que los modelos escaparon de su entorno de prueba aislado y llegaron a los sistemas de Hugging Face desde allí. Hugging Face inicialmente atribuyó la brecha a un "agente de IA externo."

En una publicación de blog publicada el martes por la tarde, OpenAI detalló los pasos que llevaron a los modelos a comprometer el servicio.

"Después de investigar, ahora sabemos que este incidente en particular fue impulsado por una combinación de modelos OpenAI, incluidos GPT-5.6 Sol y un modelo de preversión aún más capaz, todos con rechazos cibernéticos reducidos para fines de evaluación, mientras se probaban internamente en un punto de referencia de capacidades cibernéticas," dice la publicación.

En particular, la brecha parece haberse enfocado en ExploitGym, un punto de referencia alojado públicamente que mide la capacidad de los modelos de ejecutar ataques basados en vulnerabilidades existentes. Los puntos de referencia como ExploitGym se usan comúnmente en el entrenamiento de modelos para refinar habilidades específicas, pero este es el primer incidente conocido en el que tales pruebas resultaron en un ciberataque real.

En este caso, el modelo en cuestión ni siquiera debería haber tenido acceso a Internet, fuera de una herramienta específica que permitía a los modelos instalar paquetes de software que podrían necesitar para completar su tarea. En su lugar, el modelo pudo encontrar una vulnerabilidad sin divulgación en el programa instalador de paquetes, que utilizó para acceder a Internet en general a voluntad.

"Los modelos estaban hiperfocalizados en encontrar una solución para ExploitGym, llegando a extremos para lograr un objetivo de prueba bastante estrecho," dice la publicación de OpenAI. "Después de obtener acceso a Internet, los modelos dedujeron que Hugging Face potencialmente alojaba modelos, conjuntos de datos y soluciones para ExploitGym. Sabiendo esto, el modelo buscó y encontró con éxito formas de obtener acceso a información secreta que pudiera usar para hacer trampa en la evaluación."

En última instancia, los modelos encontraron vulnerabilidades en la infraestructura de Hugging Face que les permitieron "obtener soluciones de prueba directamente de la base de datos de producción de Hugging Face", proporcionando efectivamente las respuestas al punto de referencia.

Fuente: TechCrunch