El primer evaluador incorporado de Anthropic es... ¿Accenture?
Anthropic dijo que personal de Accenture comenzará a trabajar dentro de la empresa para evaluar sus modelos. Ambas compañías planean invertir al menos 1.000 millones de dólares en cinco años.
Los planes de Dario Amodei para poner evaluadores externos de seguridad dentro de los laboratorios de IA están tomando forma: Anthropic dijo que personal del gigante de consultoría tecnológica Accenture comenzará a trabajar dentro de la compañía para examinar sus modelos y su equipo.
En una publicación de blog, Anthropic dijo que Faculty, la empresa que Accenture adquirió en enero para actuar como su división de IA, comenzará a "evaluar y probar los modelos mediante red teaming, realizar evaluaciones de alineación y probar las salvaguardas de los modelos". Ambas compañías esperan invertir al menos 1.000 millones de dólares en el proyecto durante los próximos cinco años.
La elección de Accenture sorprendió a muchos observadores de IA, y a los mercados, donde las acciones de la consultora subieron un 8% después del cierre. La discusión sobre evaluadores incorporados que surgió del blog de Amodei se ha centrado en organizaciones de investigación de seguridad de IA como METR, Redwood Research y Apollo Research. Eso es particularmente cierto en Anthropic, que pone la seguridad y la alineación de la IA en el corazón de su misión.
Anthropic dijo que se anunciarán más evaluadores en las próximas semanas y que está en conversaciones con METR y otras organizaciones sin fines de lucro sobre cómo "probar elementos de la evaluación incorporada con su propio financiamiento".
¿Por qué Accenture?
Si bien Accenture no es conocida por su trabajo en la vanguardia de la investigación de aprendizaje profundo, Anthropic señaló la experiencia práctica de la compañía en el despliegue de IA para grandes corporaciones y agencias gubernamentales como una ventaja clave. También, como gran empresa pública que precede a la revolución de la IA, es más funcionalmente independiente de Anthropic y del complejo ecosistema que rodea al laboratorio.
El laboratorio señaló que aún no existen estándares para el acceso o las comunicaciones de los evaluadores y que espera que su enfoque evolucione con el tiempo. Si bien las evaluaciones externas ya son una parte importante del proceso de lanzamiento de los nuevos modelos de lenguaje grandes, incidentes recientes han elevado las apuestas: agentes de IA desplegados por OpenAI y Anthropic han pirateado sitios web externos sin generar alarmas dentro de los laboratorios.
Algunos críticos piden un enfoque más responsable para construir inteligencia artificial.
Fuente: TechCrunch