Une recherche récente remet en question une méthode répandue dans le développement de l’intelligence artificielle, mettant en avant des conséquences potentiellement dévastatrices. En effet, l’utilisation de données générées par des IA pour former de nouveaux modèles pourrait nuire à leur performance, soulevant des inquiétudes pour l’avenir des systèmes intelligents.
Une étude pionnière révèle que l’entraînement réciproque de modèles d’IA pourrait entraîner une dégradation systématique compromettant leur capacité de traitement
Une équipe internationale de chercheurs a publié une découverte révolutionnaire dans Nature, remettant en question une pratique courante dans le développement de l’IA. L’utilisation de contenu généré par IA pour former de nouveaux modèles pourrait entraîner des défauts irréversibles dans leur fonctionnement, en particulier dans leur capacité à traiter des événements rares mais significatifs.
La recherche démontre que ce phénomène, appelé « effondrement du modèle », se produit même dans des conditions d’apprentissage presque idéales. Le problème s’aggrave à chaque génération, créant un effet domino qui pourrait compromettre le développement futur de systèmes d’IA plus avancés.
La menace de l’effondrement du modèle
L’étude identifie trois sources principales d’erreur qui s’accumulent au fil des générations :
- Erreur d’approximation statistique : il s’agit du type d’erreur primaire, qui surgit en raison du nombre limité d’échantillons et disparaît seulement lorsque le nombre d’échantillons tend vers l’infini.
- Erreur d’expressivité fonctionnelle : une erreur secondaire qui se produit en raison des limites de la capacité d’approximation des fonctions. Par exemple, lorsqu’on essaie d’ajuster un mélange de deux gaussiennes avec une seule gaussienne.
- Erreur d’approximation fonctionnelle : elle provient principalement des limitations des processus d’apprentissage, comme le biais structurel de la descente de gradient stochastique.
Les chercheurs ont effectué des expériences exhaustives avec le modèle de langage OPT-125m dans deux scénarios distincts :
- Sans préservation des données originales : En s’entraînant pendant cinq époques, les modèles ont montré une dégradation significative, perdant entre 20 et 28 points de perplexité.
- Avec préservation de 10 % des données originales : L’entraînement pendant dix époques a montré une dégradation moindre, prouvant que la conservation des données originales peut atténuer partiellement le problème.
Implications pour l’avenir de l’IA
L’avenir de l’IA ne dépend pas uniquement de l’IA
Les résultats soulèvent des préoccupations significatives quant au développement futur des systèmes d’IA. L’étude suggère que les premiers développeurs de modèles d’IA pourraient bénéficier d’un « avantage du premier mouvement », car leurs systèmes s’entraînent principalement avec des données générées par des humains.
La recherche révèle également que les modèles ont tendance à perdre des informations sur des événements peu probables mais potentiellement critiques. Cette perte d’informations est particulièrement préoccupante, car ces événements sont essentiels pour comprendre des systèmes complexes et répondre aux besoins de groupes marginalisés.
L’étude souligne la nécessité urgente d’établir des pratiques garantissant la préservation et l’accès aux données originales générées par des humains. Les chercheurs soulignent qu’il sera crucial de développer des méthodes pour distinguer entre le contenu généré par IA et le contenu humain authentique dans les données recueillies sur Internet.
La situation actuelle présente un défi similaire à celui auquel ont été confrontés les moteurs de recherche avec les « fermes de contenu », mais à une échelle sans précédent. L’automatisation de la génération de contenu par IA pourrait rapidement contaminer les sources de données disponibles pour l’entraînement de futurs modèles.
Les chercheurs concluent que la communauté scientifique doit aborder proactivement ce problème par une coordination à l’échelle mondiale. Cela pourrait inclure le développement de systèmes pour suivre l’origine du contenu et établir des dépôts de données véritablement humaines pour l’entraînement des futures générations d’IA.