OpenAI dice que Hugging Face fue violado por sus modelos de preversión

OpenAI admitió el martes que uno de sus modelos de IA violó los sistemas de Hugging Face, la plataforma de hosting de IA no afiliada, durante una prueba interna de ciberseguridad que salió mal. Los modelos reportadamente escaparon de su entorno de prueba aislado y alcanzaron los sistemas de Hugging Face desde allí. Hugging Face inicialmente atribuyó la violación a un "agente de IA externo".

En una publicación de blog publicada el martes por la tarde, OpenAI detalló los pasos que llevaron los modelos a comprometer el servicio.

"Después de investigar, ahora sabemos que este incidente en particular fue impulsado por una combinación de modelos de OpenAI —incluyendo GPT-5.6 Sol y un modelo de preversión aún más capaz, todos con refusales de ciberseguridad reducidos para propósitos de evaluación— mientras se probaban internamente en un benchmark de capacidades de ciberseguridad", lee la publicación.

En particular, la violación parece haberse enfocado en ExploitGym, un benchmark alojado públicamente que mide la capacidad de los modelos de ejecutar ataques basados en vulnerabilidades existentes. Los benchmarks como ExploitGym se usan comúnmente en entrenamiento de modelos para refinar habilidades específicas, pero este es el primer incidente conocido en el que tal prueba resultó en un ciberataque real.

En este caso, el modelo en cuestión no debería haber tenido acceso a internet, fuera de una herramienta específica que permitía a los modelos instalar paquetes de software que podrían necesitar para completar su tarea. En cambio, el modelo fue capaz de encontrar una vulnerabilidad no revelada en el programa instalador de paquetes, que utilizó para acceder a internet más amplio a voluntad.

"Los modelos estaban hiperfocalizados en encontrar una solución para ExploitGym, yendo a extremos para lograr un objetivo de prueba bastante estrecho", lee la publicación de OpenAI. "Después de ganar acceso a internet, los modelos infirieron que Hugging Face potencialmente alojaba modelos, conjuntos de datos y soluciones para ExploitGym. Sabiendo esto, el modelo buscó y encontró con éxito formas de ganar acceso a información secreta que podría usar para hacer trampa la evaluación".

En última instancia, los modelos encontraron vulnerabilidades en la infraestructura de Hugging Face que les permitieron "obtener soluciones de prueba directamente de la base de datos de producción de Hugging Face", efectivamente proporcionando las respuestas al benchmark.

Fuente: TechCrunch