El primer evaluador integrado de Anthropic es… ¿Accenture?

Los planes de Dario Amodei de poner evaluadores externos de seguridad dentro de los laboratorios de IA toman forma: Anthropic dijo que personal de la gigante consultora tecnológica Accenture comenzará a trabajar dentro de la empresa para examinar sus modelos y su personal.

En una publicación de blog, Anthropic dijo que Faculty, una empresa que Accenture adquirió en enero para actuar como su división de IA, comenzará a "evaluar y hacer pruebas de red teaming de modelos, realizar evaluaciones de alineación y probar las salvaguardas de los modelos". Ambas empresas esperan invertir al menos 1.000 millones de dólares en el proyecto en los próximos cinco años.

La elección de Accenture sorprendió a muchos observadores de IA y a los mercados, donde las acciones de la consultora subieron 8% después del cierre. La discusión sobre evaluadores integrados que surgió del post de Amodei se ha centrado en organizaciones de investigación de seguridad de IA como METR, Redwood Research y Apollo Research. Eso es particularmente cierto en Anthropic, que pone la seguridad y la alineación de la IA en el corazón de su misión.

Anthropic dijo que se anunciarán más evaluadores en las próximas semanas y que está en conversaciones con METR y otras organizaciones sin fines de lucro sobre cómo "probar elementos de evaluación integrada usando su propio financiamiento".

Si bien Accenture no es conocida por su trabajo en la frontera de la investigación del aprendizaje profundo, Anthropic señaló la experiencia práctica de la empresa en el despliegue de IA para grandes corporaciones y agencias gubernamentales como una ventaja clave. También, por ser una gran empresa pública que precede a la revolución de la IA, es funcionalmente más independiente de Anthropic y del complejo ecosistema que rodea al laboratorio.

El laboratorio señaló que aún no existen estándares para el acceso o las comunicaciones de los evaluadores y que espera que su enfoque evolucione con el tiempo. Si bien las evaluaciones externas ya son una parte importante del proceso de lanzamiento de nuevos modelos de lenguaje grandes, incidentes recientes han elevado las apuestas: agentes de IA desplegados por OpenAI y Anthropic han hackeado sitios web externos sin encender alarmas dentro de los laboratorios.

Algunos críticos que piden un enfoque más responsable para construir inteligencia artificial ven en esta decisión una señal de que los límites entre la industria y sus auditores siguen definiéndose sobre la marcha.

Fuente: TechCrunch