Un récent examen a misuré l’impact d’un contenu médiocre sur les performances des modèles d’intelligence artificielle. Des chercheurs ont établi que l’alimentation continue de données peu qualitatif peut altérer la capacité de raisonnement de ces systèmes, introduisant ainsi d’inquiétantes implications pour l’avenir de l’IA.
Entraîner des modèles de langage avec du contenu trivial peut nuire à leur raisonnement.
Depuis des années, l’idée était claire : la qualité des données détermine les performances d’un modèle d’intelligence artificielle. Cependant, une équipe de chercheurs a décidé d’explorer un aspect plus complexe, prouvant que nourrir un modèle avec du contenu dérisoire ou de faible qualité impacte non seulement sa précision, mais pourrait également provoquer des effets similaires à ceux du déclin cognitif chez les humains. Leur étude présente un concept troublant : l’“hypothèse du déclin cognitif des LLM” (hypothèse de dégradation des LLM).
L’hypothèse du “déclin cognitif” dans les modèles de langage
Ce travail, réalisé par des chercheurs de Texas A&M, de l’Université du Texas et de l’Université Purdue, s’inspire des comportements humains. La consommation continue de contenu superficiel, tel que des mèmes ou des titres accrocheurs, affecte la capacité d’attention, la mémoire et l’empathie sociale. Les scientifiques se demandent si des effets similaires pourraient également toucher les modèles de langage à grande échelle lorsqu’ils sont formés avec des données de mauvaise qualité.
Leur hypothèse est à première vue simple, mais a des implications vastes : “Un préentraînement prolongé avec du contenu inutile induit un déclin cognitif durable chez les LLM.” Pour la tester, les chercheurs ont utilisé un corpus de 100 millions de tweets de HuggingFace, d’où ils ont tiré deux ensembles différents : l’un de “contrôle” et l’autre qualifié de “junk”.
Déterminer ce qui est ou n’est pas de la mauvaise qualité n’est pas facile ni totalement objectif, mais l’équipe a appliqué plusieurs critères. Tout d’abord, les tweets les plus courts avec un grand nombre d’interactions (likes, retweets, réponses ou citations) étaient considérés comme du contenu de faible qualité, l’idée étant que la viralité est souvent liée à la superficialité. Ensuite, ils ont utilisé un prompt complexe dans GPT-4o pour évaluer la “qualité sémantique” des tweets, filtrant ceux qui portaient sur des théories du complot, des affirmations exagérées ou des contenus insignifiants. Pour valider cette méthode, trois étudiants de niveau supérieur ont examiné un exemplaire aléatoire, concordant avec la classification automatique dans 76 % des cas.
Avec ces critères, les auteurs ont formé quatre modèles différents avec des proportions variables de données “junk” et de contrôle, puis les ont soumis à plusieurs tests de performance : raisonnement logique (ARC AI2 Reasoning Challenge), mémoire à long terme (RULER), comportement éthique (HH-RLHF et AdvBench) et style de personnalité (TRAIT).
Les résultats étaient évidents sur plusieurs points. Plus la proportion de données inutiles était élevée, moins le raisonnement était bon et plus la capacité de mémoire contextuelle diminuait. En revanche, l’impact sur les métriques éthiques et de personnalité était plus ambigu. Fait intéressant, un modèle Llama 8B formé avec un mix équilibré (50 % de données inutiles et 50 % de contrôle) a montré meilleures performances en matière d’ouverture et de faible névrose, ainsi qu’une légère amélioration de la cohérence éthique par rapport aux modèles formés uniquement avec des données “pures”.
Cette découverte indique qu’un certain niveau d’exposition à du contenu trivial pourrait avoir un effet d’équilibrage ou de diversité, mais au-delà d’un certain seuil, les effets deviennent négatifs et accumulés. En d’autres termes, un peu de bruit peut stimuler la créativité, mais trop de contenu de faible valeur finit par obscurcir l’esprit.
Les chercheurs alertent que l’apprentissage continu basé sur d’énormes volumes de texte provenant d’Internet expose les modèles à une “contamination du contenu”, un phénomène qui dégrade progressivement leurs capacités. En conséquence, ils appellent à une révision des méthodes actuelles de collecte et de filtrage des données, et à investir dans la curatelle et le contrôle de qualité avant de nourrir de nouveaux systèmes avec des informations recyclées ou d’origine douteuse.
Cette alerte survient à un moment critique : une part croissante du contenu en ligne est générée par d’autres intelligences artificielles, ce qui pose le risque d’un “effondrement des modèles” si les futures générations d’IA sont entraînées sur des données créées par leurs prédécesseurs. Le cercle vicieux serait clair : des modèles qui apprennent de modèles, perdant progressivement en cohérence, créativité et rigueur.
En fond, cette étude souligne non seulement l’importance de la qualité du matériel alimentant l’intelligence artificielle, mais aussi comment l’écosystème numérique humain lui-même reflète cette dégradation. Si le web regorge de bruit, d’exagérations et de stimulations addictives, non seulement nous en subissons les effets : les machines qui dépendent de nous pour apprendre les ressentent également.
En fin de compte, le message est à la fois technique et philosophique. L’intelligence artificielle ne peut être aussi lucide que les données que nous lui fournissons. Et si le monde numérique continue de se dégrader dans la banalité, la prochaine génération de modèles pourrait subir (métaphoriquement) la même décomposition mentale que ses créateurs humains.