L’armée américaine a failli intercepter un navire chinois sur la base d’un renseignement généré par une IA, un incident révélateur des risques posés par l’adoption rapide de ces outils dans les opérations sensibles.
Un nouveau rapport révèle que les forces armées américaines ont été tout près d’intercepter un navire chinois au Moyen-Orient il y a quelques mois. La raison de cette méprise renforce les inquiétudes soulevées au sujet de l’Intelligence Artificielle.
Selon quatre sources citées par la CNN dans un reportage exclusif, l’alerte serait née d’une requête faite par un analyste du Commandement des opérations spéciales du Pacifique, basé à Hawaï, à un chatbot concernant des données tirées d’un manifeste de cargaison du navire.
Le système a fusionné des données de sources ouvertes avec des informations classifiées, provenant d’interceptions de signaux, et a conclu que l’embarcation transportait du matériel lié à un programme nucléaire.
L’analyste a ensuite utilisé une IA pour transformer cette réponse en un rapport de renseignement selon le format habituellement employé et jugé fiable par les responsables militaires, ce qui a permis à l’erreur de se propager rapidement dans la chaîne de commandement.
Sur la base de ce document, les forces armées américaines ont engagé les préparatifs d’une opération d’interception. Selon deux des sources de la CNN, des équipes armées se sont préparées à arraisonner le navire. Une de ces sources et une troisième ont confirmé que des avions militaires étaient déjà en vol.
Ce n’est qu’à la veille de l’opération que des responsables ont examiné le rapport avec plus d’attention et ont compris qu’il avait été généré à l’aide d’une IA, le chatbot ayant incorrectement identifié la cargaison transportée. La CNN n’a pas pu établir ce qui se trouvait réellement à bord.
Une source a décrit l’information comme « totalement fausse », ajoutant que l’épisode « a presque déclenché une guerre », compte tenu du risque qu’une action contre un navire chinois dégénère en un conflit armé entre ces deux puissances nucléaires.
Un problème qui dépasse cet incident
D’après le reportage, ce cas ne serait pas isolé. Une source a rapporté que des hallucinations similaires se sont produites dans d’autres circonstances depuis que ces outils ont commencé à se multiplier au sein des diverses agences américaines.
Un ancien haut responsable lié aux systèmes d’IA utilisés par l’armée et la communauté du renseignement aurait décrit les outils internes du gouvernement comme des copies de produits commerciaux avec de légères adaptations. Il n’est pas encore établi si le chatbot en question était d’origine commerciale ou gouvernementale.
Parallèlement, l’adoption accélérée de l’IA au sein des forces armées américaines s’inscrit dans la stratégie annoncée en janvier par le secrétaire à la Défense, Pete Hegseth. Celui-ci a préconisé l’élimination des barrières bureaucratiques et la mise à disposition de modèles d’IA pour environ trois millions de militaires et de civils du département. Son argument : les États-Unis ne peuvent se permettre de prendre du retard face à la Chine et à d’autres adversaires.
Cependant, plusieurs sources citées par la CNN avertissent que cet effort se fait de manière décentralisée, sans un ensemble uniforme de règles pour vérifier la fiabilité des informations produites par ces outils. Cette situation entraîne des variations importantes dans le degré de confiance que l’on peut accorder à chaque système.