Una alucinación de IA casi desata una operación militar de EE.UU.

Aeronaves militares ya estaban en el aire esta primavera cuando funcionarios de EE.UU. hicieron un descubrimiento alarmante: la inteligencia que impulsaba una operación armada contra un buque chino había sido alucinada por un chatbot de IA. La operación fue abortada en el último minuto, evitando por poco un potencial conflicto con China, según reportó CNN el viernes.

El episodio subraya una preocupación creciente entre funcionarios militares y expertos externos: a medida que los tomadores de decisiones dependen más de la IA, los errores que producen estos sistemas pueden ascender en la cadena de mando antes de ser cuestionados.

El informe de inteligencia, que circuló durante la guerra con Irán, decía que el buque transportaba componentes para un programa de armas nucleares.

La falsa inteligencia se originó con un analista del Comando de Operaciones Especiales que consultó a un chatbot de IA para sintetizar datos de fuentes abiertas con inteligencia clasificada de señales. El chatbot identificó mal el manifiesto de carga del buque. El analista usó la herramienta una segunda vez para formatear los hallazgos erróneos en un resumen de apariencia oficial, que circuló por los canales de mando.

El incidente ocurre mientras el ejército de EE.UU. se apresura a integrar la IA para acelerar la toma de decisiones y mantener su ventaja sobre China. El Pentágono ha descrito a la IA como una ventaja significativa para acelerar su cadena de eliminación (kill chain) para que los comandantes puedan responder en el momento adecuado. Pero la misma velocidad que hace atractiva a la IA también puede permitir alucinaciones con supervisión humana insuficiente.

"Es importante que los miembros del servicio entiendan la incertidumbre inherente a los modelos de lenguaje grandes", dijo Jake Steckler, investigador de GovAI y veterano oficial del ejército de EE.UU., en una respuesta escrita a TechCrunch. "Pero es especialmente crítico para cualquier decisión que pueda llevar al uso de la fuerza, como selección de objetivos, análisis de inteligencia o planificación operativa. Hay consecuencias de vida o muerte en esas decisiones".

Aun así, Steckler dice que el incidente debería servir como un llamado a agregar más salvaguardas a la IA, no como una razón para evitarla. "Estas herramientas pueden ser útiles en los contextos adecuados y con la supervisión adecuada".

Fuente: TechCrunch