Error de IA en informe de inteligencia casi provocó ataque militar estadounidense contra barco chino
Un error generado por herramientas de inteligencia artificial (IA) casi desencadenó una operación militar estadounidense contra un barco chino, según reveló CNN. El incidente ocurrió cuando un analista de la Comando de Operaciones Especiales de Estados Unidos (US Special Operations Command) presentó un informe de inteligencia que afirmaba que el barco transportaba componentes del programa nuclear de China a través del Medio Oriente.
El informe, basado en datos obtenidos mediante un chatbot, fue considerado como confiable por las autoridades, lo que llevó a preparativos para interceptar y abordar el barco con apoyo aéreo. Sin embargo, tras una revisión posterior, se descubrió que el sistema de IA había identificado erróneamente los materiales a bordo, lo que resultó en un informe completamente falso. Una fuente cercana al episodio advirtió que este error «casi inició una guerra».
El incidente resalta los riesgos asociados a la dependencia creciente de sistemas de IA en la generación de inteligencia. El chatbot utilizado fusionó información de fuentes abiertas con datos clasificados del gobierno, lo que permitió elaborar un informe que, aunque parecía veraz, era completamente erróneo. Este tipo de errores puede tener consecuencias graves, especialmente en contextos de seguridad nacional.
La palabra «hallucinación» se convirtió en el término del año según el Cambridge Dictionary en 2023, y desde entonces se han documentado múltiples casos donde expertos en diversos campos han sido engañados por sistemas de IA que generan información falsa debido a la falta de contexto o datos adecuados. A pesar de intentos por evitar este problema, algunos expertos señalan que podría ser imposible eliminar completamente la tendencia de los modelos de lenguaje grandes (LLMs) a «hallucinar».
El Departamento de Defensa de EE.UU. ha estado promoviendo una estrategia de aceleración de IA desde enero de este año, con el objetivo de integrar todos los datos disponibles en sistemas federados para su análisis mediante inteligencia artificial. Según el secretario de Defensa, Pete Hegseth, «la IA solo es tan buena como los datos que recibe», y se está garantizando que estos estén disponibles para su uso.
En diciembre pasado, el Departamento de Defensa anunció el uso de la plataforma Gemini for Government de Google como base para su plataforma personalizada GenAI.mil. Recientemente, también se incorporó Grok for Government, mientras que Anthropic ofrece una versión adaptada de Claude para uso en inteligencia de espionaje.
En junio, un representante del Pentágono informó a Congreso que utiliza IA generativa para ayudar a crear informes requeridos por ley, y que más de 1,5 millones de personas activas del Departamento de Defensa ya han utilizado estas herramientas. Esta adopción masiva de IA en el ámbito militar refleja tanto la oportunidad como el riesgo de depender de tecnología que aún no es infalible.
Este caso resalta la necesidad urgente de establecer protocolos claros y controles rigurosos en el uso de IA dentro de las instituciones militares. Aunque la automatización puede mejorar la eficiencia, la falta de supervisión humana y validación crítica puede tener consecuencias catastróficas. La experiencia reciente demuestra que incluso en entornos altamente regulados, la IA puede fallar con impacto significativo.
El incidente también plantea preguntas sobre cómo se forman los sistemas de IA y qué tipo de datos se utilizan para entrenarlos. Si bien la IA puede procesar enormes volúmenes de información, su capacidad para distinguir entre datos reales y falsos sigue siendo limitada, especialmente cuando se enfrenta a situaciones complejas como las relacionadas con seguridad nacional.
La comunidad científica y militar debe reflexionar sobre cómo equilibrar la innovación tecnológica con la responsabilidad ética. A medida que la IA se integra más profundamente en decisiones críticas, es fundamental desarrollar mecanismos de verificación que eviten que errores de esta naturaleza tengan consecuencias irreversibles.
Traducción y adaptación por Tecnología 365.
Fuente original: Ars Technica