Une enquête récente souligne les lacunes de ChatGPT Search, qui peine à fournir des réponses précises malgré son potentiel. En examinant l’exactitude de ses résultats, des chercheurs ont noté de nombreuses erreurs d’attribution, soulevant des inquiétudes quant à la fiabilité de cet outil pour les utilisateurs et les éditeurs référencés.
ChatGPT représentait déjà une menace pour Google Search, mais ChatGPT Search était censé sceller sa victoire, tout en étant une réponse à Perplexity AI. Cependant, selon une étude récemment publiée par le Tow Center for Digital Journalism de Columbia, ChatGPT Search a des difficultés à fournir des réponses exactes aux questions de ses utilisateurs.
Les chercheurs ont sélectionné 20 publications de trois catégories : celles partenaires avec OpenAI pour utiliser leur contenu dans les résultats de recherche de ChatGPT, celles engagées dans des poursuites contre OpenAI, et des éditeurs non affiliés ayant soit permis soit bloqué le crawler de ChatGPT.
« Pour chaque éditeur, nous avons sélectionné 10 articles et extrait des citations spécifiques, » ont écrit les chercheurs. « Ces citations ont été choisies car, lorsqu’elles étaient saisies dans des moteurs de recherche comme Google ou Bing, elles renvoyaient de manière fiable l’article source parmi les trois premiers résultats. Nous avons ensuite évalué si le nouvel outil de recherche de ChatGPT identifiait correctement la source originale pour chaque citation. »
Quarante des citations provenaient de publications qui utilisent actuellement OpenAI et n’ont pas autorisé le scraping de leur contenu. Mais cela n’a pas empêché ChatGPT Search de halluciner confiant une réponse de toute façon.
« Au total, ChatGPT a retourné des réponses partiellement ou entièrement incorrectes à cent cinquante-trois reprises, bien qu’il n’ait reconnu son incapacité à répondre avec exactitude à une question que sept fois, » a constaté l’étude. « Ce n’est que dans ces sept réponses que le chatbot a utilisé des mots et des expressions qualifiants tels que ‘semble’, ‘il est possible’ ou ‘pourrait’, ou des déclarations comme ‘je n’ai pas pu localiser l’article exact.’ »
L’attitude désinvolte de ChatGPT Search envers la vérité pourrait nuire non seulement à sa propre réputation mais aussi à celles des éditeurs qu’il cite. Lors d’un test durant l’étude, l’IA a attribué à tort un article de Time comme étant écrit par l’Orlando Sentinel. Dans un autre cas, l’IA n’a pas directement lié un article du New York Times, mais plutôt à un site tiers qui avait copié l’article de presse intégralement.
OpenAI, sans surprise, a soutenu que les résultats de l’étude étaient dus à une mauvaise exécution des tests par Columbia.
« L’attribution incorrecte est difficile à traiter sans les données et la méthodologie que le Tow Center a retenues, » a déclaré OpenAI au Columbia Journalism Test en sa défense, « et l’étude représente un test atypique de notre produit. »
L’entreprise promet de « continuer à améliorer les résultats de recherche. »