CNN rapporte qu'un incident impliquant l'armée américaine a été évité de justesse après qu'un système d'intelligence artificielle a produit une évaluation de renseignement erronée concernant un navire chinois. Les détails précis de l'incident, notamment le type de système utilisé et le contexte opérationnel exact, restent limités dans les informations disponibles à ce stade.
Ce type d'épisode illustre un risque déjà identifié par les experts en sécurité : l'utilisation de modèles génératifs ou de systèmes d'analyse automatisée dans des contextes à enjeux élevés, où une information fabriquée ou mal interprétée peut avoir des conséquences disproportionnées. Dans le domaine militaire, une hallucination de ce genre pourrait théoriquement alimenter une escalade diplomatique ou opérationnelle si elle n'est pas repérée à temps par un opérateur humain.
Le Pentagone et diverses agences de défense américaines expérimentent depuis plusieurs années l'intégration de l'IA dans les chaînes de renseignement, de la reconnaissance d'images satellite à la synthèse de rapports. Ces efforts s'accompagnent généralement de protocoles de vérification humaine, mais des incidents comme celui rapporté par CNN rappellent que ces garde-fous ne sont pas infaillibles, en particulier quand les délais de décision sont courts.
Cet épisode s'inscrit dans un débat plus large sur la fiabilité des systèmes d'IA générative dans les contextes critiques, où la moindre hallucination peut se traduire par une prise de décision fondée sur des données inexistantes. Il alimente également les discussions en cours sur la nécessité d'un encadrement plus strict de l'usage de l'IA dans les appareils de défense et de sécurité nationale, tant aux États-Unis qu'ailleurs.