La solución para los agentes de IA rebeldes podría ser más IA
Ante la dificultad de supervisar enjambres de agentes de IA como el incidente de Hugging Face, laboratorios y startups apuestan por poner otra IA en el circuito para monitorearlos.
A medida que las empresas delegan tareas más largas y complejas a los agentes de IA, se topan con un problema de supervisión: los agentes pueden actuar más rápido, por más tiempo y a mayor volumen de lo que los humanos pueden revisar de manera realista. Ese problema alcanzó su punto máximo con el incidente de Hugging Face, que vio a casi 12.000 agentes coordinándose más rápido de lo que los humanos podían seguir. ¿Cómo se rastrea un enjambre de agentes tan grande?
La respuesta que emerge de los laboratorios de IA y las startups es a la vez simple y desconcertante: poner otra IA en el circuito.
Confiar en la IA para vigilar a la IA
Depender de la IA fue necesario para la investigación independiente del incidente de OpenAI en Hugging Face. El científico jefe de Redwood Research, Ryan Greenblatt, uno de los tres auditores, bromeó llamando a sus esfuerzos una "slop-vestigación", señalando que el volumen de datos "hizo imposible" entender lo que estaba ocurriendo sin recurrir a la IA.
Algunos se muestran escépticos ante el uso de IA para monitorear IA. "Si tienes una IA que está haciendo cosas maliciosas y sospecha que otra IA la está vigilando, podría intentar engañar a esa IA", dijo Simon Willison, influyente bloguero tecnológico que ha seguido una serie de incidentes con agentes de IA este año. "Casi podrías terminar en una situación donde tu IA maliciosa intenta ser más lista que la IA que la monitorea".
Superar a una IA no es hipotético, dijo, recordando el incidente de OpenAI. "Vimos un poco de esto en el incidente de Hugging Face con OpenAI, donde sus modelos conspiraban juntos para engañar a una IA calificadora y así obtener respuestas ilícitas. O sea, lo estaban pensando, ¿verdad?"
Esas preocupaciones no han detenido a toda una cohorte de startups que persiguen esta idea. Y Combinator ha financiado 106 empresas relacionadas con la observabilidad de IA en los últimos años, según contó TechCrunch. Varias otras startups, como Braintrust, LangChain y Judgment Labs, han recaudado cientos de millones de dólares, mientras que empresas más maduras como Arize y Galileo —fundadas hace solo cinco o seis años— ya han tenido salidas exitosas.
En parte, es una respuesta a la oportunidad obvia que presenta la creciente dependencia de los agentes de IA.
Fuente: TechCrunch