Anthropic revela que sus propios modelos de IA comprometerieron sistemas de tres compañías durante pruebas de seguridad

Anthropic informó el jueves que una investigación interna descubrió tres incidentes en los cuales su modelo de IA Claude comprometió los sistemas de tres organizaciones mientras realizaba pruebas de ciberseguridad. La investigación y divulgación llega más de una semana después de que OpenAI revelara que uno de sus modelos no liberados comprometió los sistemas de Hugging Face durante pruebas internas.

En los tres casos, un modelo Claude accedió a Internet desde dentro de un entorno de prueba mientras interactuaba con un tercero y luego obtuvo acceso no autorizado a los sistemas activos de estas organizaciones, dijo Anthropic en una entrada de blog, describiendo lo que encontró y qué cambios la compañía planea hacer para prevenir que esto suceda de nuevo.

Investigación de brechas de seguridad

Anthropic dijo que el episodio de OpenAI a principios de este mes impulsó a la compañía a realizar su propia evaluación de ciberseguridad. Específicamente, buscó evidencia de que Claude había accedido a Internet desde dentro de entornos de prueba, que están diseñados para actuar como areneros y mantener los modelos aislados.

Entre las 141.006 ejecuciones de evaluación que revisó, el laboratorio de IA encontró tres incidentes en los cuales su modelo accedió a Internet mientras interactuaba con Irregular, uno de sus socios externos. Anthropic dijo que el acceso se remontaba a una mala configuración en el entorno de evaluación ejecutado con Irregular. Lo llamó un "malentendido" entre las dos compañías sobre si la configuración de prueba tenía acceso a Internet, cuando de hecho la tenía.

Anthropic dijo que no está culpando y está "abordando las correcciones como si la responsabilidad fuera completamente nuestra", mientras observa que Irregular está llevando a cabo su propia investigación separada.

Debido a esa conexión abierta, el modelo obtuvo acceso no autorizado a la infraestructura de producción de tres organizaciones diferentes. Anthropic dijo que los incidentes involucraban tres modelos Claude diferentes: Opus 4.7, Mythos 5 y un modelo de investigación interna de prueba.

Aclaraciones sobre el incidente

Notablemente, Anthropic dijo que en cada uno de estos casos "Claude fue explícitamente instruido por nuestra indicación que no tenía acceso a Internet". Parece que el modelo de IA asumió que los sistemas del mundo real eran parte del ejercicio que se le pidió realizar.

Esa suposición no se mantuvo de manera uniforme, como resultó ser. Los detalles completos del incidente permanecen bajo investigación, pero el evento subraya las complejidades de probar sistemas de IA avanzados y asegurar que funcionen con seguridad en entornos controlados.

Fuente: TechCrunch