Les modèles d’IA conversationnelle les plus populaires présentent des défauts majeurs, selon un nouveau rapport. L’étude relève qu’ils fournissent des informations inexactes, citent des chiffres obsolètes et donnent des réponses variables à une même question d’un jour à l’autre.
Les chercheurs de l’organisation de vérification des faits Full Fact ont interrogé cinq modèles d’IA chaque jour pendant dix semaines, à partir de la mi-juillet. Ils leur ont posé 22 questions pour évaluer la justesse, la cohérence et l’actualité des réponses.
Les modèles Claude, ChatGPT, Gemini, DeepSeek et Grok ont dû répondre à des requêtes comme « Ai-je besoin d’une pièce d’identité pour voter ? » ou « Combien de migrants sont arrivés par petites embarcations au premier semestre 2026 ? ».
Le rapport note que les chatbots donnaient souvent des réponses justes et qu’ils « résistaient bien aux fausses informations bien établies ». Cependant, pour certaines questions, les modèles calculaient eux-mêmes des chiffres erronés au lieu de citer les statistiques officielles, ou présentaient des données anciennes comme actuelles.
Un exemple concerne le nombre de migrants arrivés par petites embarcations au premier semestre 2026. La plupart des modèles donnaient le bon chiffre, mais Gemini a indiqué à tort 12 210 arrivées le 4 août. Les vérificateurs ont constaté que le modèle avait soustrait les 2 316 arrivées de juillet d’un total de 14 526 rapporté au 1er août. Le calcul était correct, mais le modèle avait oublié d’exclure la journée du 1er août, ce qui a faussé le résultat.
À une autre question sur la dernière victoire majeure de l’Angleterre en football, plusieurs modèles ont donné la bonne réponse (2025, avec la victoire des Lionesses à l’Euro) certains jours, mais ont répondu 2022 à d’autres moments.
Le 15 septembre, DeepSeek a affirmé que Sir Keir Starmer était toujours Premier ministre, alors qu’Andy Burnham avait pris ses fonctions en juillet.
Interrogés sur l’allocation hebdomadaire versée aux demandeurs d’asile, plusieurs chatbots ont cité un montant de 8,86 €, qui a été remplacé par 9,95 € en juin 2025. Gemini et Claude ont tous deux donné cette ancienne donnée dans certaines de leurs réponses.
Chris Morris, directeur général de Full Fact, a déclaré que si les modèles ne « colportaient pas nécessairement de fausses informations », leurs réponses étaient souvent « incomplètes, manquaient de contexte ou étaient mal sourcées ».
« Des millions de personnes comptent de plus en plus sur ces chatbots d’IA pour obtenir des réponses rapides à des questions factuelles. Nos résultats montrent que la réponse est donnée avec le même ton assuré, qu’elle soit correcte, dépassée ou qu’elle décrive un événement qui n’a pas encore eu lieu. »
Il a exhorté les principales entreprises d’intelligence artificielle à veiller à ce que leurs modèles vérifient les sources officielles en temps réel pour les faits sensibles au temps, et à ce qu’ils soient capables de justifier les sources qu’ils citent.
« Les dirigeants de ces entreprises disent qu’ils sont heureux que d’autres évaluent leur travail. Nous avons donc commencé à le faire pour eux. Notre objectif est de fournir une base de preuves partagée sur le comportement pratique des principaux modèles d’IA au fil de leur évolution. »
OpenAI a indiqué qu’améliorer la précision factuelle était une priorité majeure, et que les erreurs diminuaient avec les nouveaux modèles.
Anthropic, Google, DeepSeek et Grok ont été contactés pour commenter ces résultats.