Plusieurs utilisateurs ont découvert que certains résultats de recherche générés par l’IA sont remplis d’erreurs
Lors du Google I/O 2024, la société de Mountain View a annoncé le déploiement de AI Overview, une nouvelle expérience de recherche intégrée à Google, qui promettait de changer complètement la manière de trouver des résultats lors de la réalisation de requêtes sur Google. Pour cela, la puissance de l’intelligence artificielle générative serait exploitée, dans le but de générer des résumés basés sur le langage naturel pour aider les utilisateurs à trouver exactement ce qu’ils cherchaient sans avoir à passer d’un résultat de recherche à l’autre.
Maintenant, cette fonctionnalité est déjà disponible aux États-Unis (bien que AI Overview puisse déjà être utilisé dans d’autres parties du monde), et les utilisateurs découvrent depuis quelques semaines ce que l’IA générative de Google appliquée au moteur de recherche est capable de faire.
Et la réalité est que les résultats ne sont pas à la hauteur des attentes. Ces derniers jours, les principaux réseaux sociaux ont été inondés de plaintes d’utilisateurs de Google concernant les échecs commis par AI Overview dans la génération des résultats de recherche, allant jusqu’à frôler le comique en répondant que la solution pour éviter que le fromage ne tombe de la pizza est d’utiliser de la colle, ou en affirmant que les serpents sont des mammifères.
Ouais, tu sais, n’importe quoi pic.twitter.com/6UvStJ1bas
— Onion Weigher 𓄽 𓍝 (@onionweigher) 18 mai 2024
Pour comprendre pourquoi AI Overview échoue si lamentablement à générer certains résultats de recherche, il faut d’abord comprendre comment cela fonctionne.
Comme l’explique la société elle-même, Google utilise son modèle de langage Gemini pour examiner les résultats de recherche les plus pertinents concernant une requête, et générer ainsi une réponse détaillée et facile à comprendre sous forme de résumé.
Mais il y a un problème. Dans certains cas, les résultats de recherche contiennent des informations erronées ou carrément fausses. C’est le cas du contenu présent sur des sites web comme le journal satirique The Onion, qui semble être l’une des sources utilisées par Google pour générer certains résultats de AI Overview.
Un des cas les plus flagrants du mauvais fonctionnement de AI Overview dans la génération de réponses à certaines requêtes a été découvert en demandant au moteur de recherche « que faire pour éviter que le fromage ne tombe de la pizza ». Face à la question, Google répond à l’utilisateur que la solution consiste à « ajouter de la colle ».
Mélangez environ 1/8 de tasse de colle Elmer avec la sauce. La colle non toxique fonctionnera.
Évidemment, c’est une réponse non désirée et surtout dangereuse. En réalité, la source que AI Overview a utilisée pour extraire l’information a été découverte : un fil de discussion Reddit datant de plus de 10 ans, où un utilisateur explique, clairement en plaisantant, qu’ajouter de la colle à la pizza est la solution pour empêcher le fromage de glisser de celle-ci.
Ce n’est pas le seul cas. D’autres utilisateurs ont également vu comment Google générer des réponses affirmant que les serpents sont des mammifères, que Batman est un policier ou que les chiens peuvent piloter des avions.
Il ne faut pas oublier que AI Overview n’invente pas l’information. Au lieu de cela, elle se contente de répéter ce que d’autres personnes ont publié sur Internet auparavant. Ce type d’hallucinations est courant lorsqu’il s’agit de travailler avec des modèles d’IA générative, et cela n’affecte pas seulement Google : des entreprises comme Meta, OpenAI ou Perplexity ont également dû relever le défi ardu de réduire au maximum les hallucinations de leurs modèles de langage.
Pour sa part, une porte-parole de Google a expliqué à The Verge que, dans la plupart des cas, les réponses erronées surviennent en raison de requêtes très peu communes pour lesquelles il n’y a pas suffisamment d’informations sur Internet. Par conséquent, elles ne sont pas représentatives de l’expérience que la majorité des utilisateurs de Google ont avec AI Overview.
Cependant, elle assure que des mesures sont prises et que ce type d’exemples est déjà utilisé pour continuer à affiner le fonctionnement de AI Overview.