Una alucinación de IA estuvo a punto de desencadenar una operación militar de EE.UU.
Aviones militares ya estaban en el aire cuando funcionarios de EE.UU. descubrieron que la inteligencia que impulsaba una operación armada contra un buque chino había sido alucinada por un chatbot de IA.
Los aviones militares ya estaban en el aire esta primavera cuando los funcionarios de EE.UU. hicieron un descubrimiento alarmante: la inteligencia que impulsaba una operación armada contra un buque chino había sido alucinada por un chatbot de IA. La operación se abortó en el último minuto, evitando por poco un posible conflicto con China, informó CNN el viernes.
El episodio subraya una creciente preocupación entre funcionarios militares y expertos externos: a medida que los tomadores de decisiones dependen más de la IA, los errores que producen estos sistemas pueden viajar hacia arriba en la cadena de mando antes de ser cuestionados.
El informe de inteligencia, que circuló durante la guerra con Irán, decía que el buque transportaba componentes para un programa de armas nucleares.
La falsa inteligencia se originó con un analista del Comando de Operaciones Especiales que consultó a un chatbot de IA para sintetizar datos de fuentes abiertas con inteligencia de señales clasificada. El chatbot identificó erróneamente el manifiesto de carga del buque. El analista luego usó la herramienta una segunda vez para formatear los hallazgos erróneos en un resumen con apariencia oficial, que circuló a través de los canales de comando.
La carrera por integrar IA en el Pentágono
El incidente casi fatal ocurre mientras el ejército de EE.UU. corre por integrar IA para acelerar la toma de decisiones y mantener su ventaja sobre China. El Pentágono ha descrito a la IA como una ventaja significativa para acelerar su cadena de ataque, de modo que los comandantes puedan responder en el momento adecuado. Pero la misma velocidad que hace atractiva a la IA también puede permitir alucinaciones con supervisión humana insuficiente.
"Es importante que los miembros del servicio comprendan la incertidumbre inherente a los modelos de lenguaje grandes", dijo Jake Steckler, investigador de GovAI y oficial veterano del Ejército de EE.UU., en una respuesta escrita a TechCrunch. "Pero es especialmente crítico para cualquier decisión que pueda conducir al uso de la fuerza, como la selección de objetivos, el análisis de inteligencia o la planificación operativa. Hay consecuencias de vida o muerte en esas decisiones".
Aun así, Steckler dice que el incidente debería servir como un llamado a agregar más salvaguardas a la IA, no como una razón para evitarla. "Estas herramientas pueden ser útiles en los contextos adecuados y con la supervisión correcta".
Fuente: TechCrunch