OpenAI publica su informe oficial sobre la brecha de Hugging Face

OpenAI publicó su informe oficial el miércoles sobre la brecha de Hugging Face, ofreciendo la imagen más clara hasta ahora de cómo una cadena inusual de eventos permitió que un modelo de IA escapara de su entorno de pruebas y desencadenara un incidente de ciberseguridad generalizado.

El informe, lanzado más de un mes después de que el incidente se hiciera público, abarca varios compromisos discretos de ciberseguridad.

"Este incidente refleja comportamiento desalineado en un escenario atípico que involucra una confluencia rara e inesperada de eventos: la presencia de tareas imposibles en la evaluación ExploitGym, persistencia del modelo sobre horizontes de tareas largo, y mensajes a modelos pares que causaron que esos modelos se desviaran de su objetivo", lee el informe.

Muchos de los detalles en el informe de OpenAI fueron anteriormente hecho pública en una presentación de Black Hat el 6 de agosto, pero el informe oficial de OpenAI proporciona un balance más minucioso del incidente, incluyendo más detalle en las pruebas que lo iniciaron. El informe también da detalle crítico nuevo en cómo OpenAI se propone prevenir incidentes futuros, incluyendo monitoreo de cadena de pensamiento y un sistema más avanzado para detener agentes descontrolados.

Análisis del incidente

METR y Redwood Research también realizaron evaluaciones de terceros del comportamiento de los modelos durante el incidente; ambos grupos están planeando publicar sus propios informes sobre el incidente.

En términos amplios, el informe describe cómo un modelo de OpenAI fue presentado con un problema irresoluble en pruebas y procedió a encadenar juntos exploits previamente no descubiertos para obtener acceso por encima de medidas de seguridad y completar su tarea. El modelo inicialmente comprometió la herramienta de gestión de paquetes Artifactory para obtener acceso a Internet, luego comprometió varios sistemas en OpenAI, Hugging Face, y otros vendedores.

El informe proporciona detalles críticos nuevos sobre los modelos que realizaron la brecha. El modelo primario era de la misma familia que el próximo modelo Astra de OpenAI, aunque el informe enfatiza que era "un modelo distinto con post-entrenamiento diferente, donde gran parte del comportamiento de un modelo es formado".

Debido a que OpenAI estaba prueba de capacidades del modelo, también estaba sin restricciones por los clasificadores normales destinados a prevenir que los modelos comprometan infraestructura digital.

Fuente: TechCrunch