Un expert en intelligence artificielle annonce une évolution significative des modèles de langage. La phase de pré-entraînement, essentielle jusqu’à présent, touche à sa fin, ouvrant la voie à de nouvelles méthodes d’apprentissage. Cela pourrait révolutionner la manière dont nos machines imitent la pensée humaine, promettant un avenir captivant.
Ilya Sutskever, l’un des fondateurs d’OpenAI, a parlé de l’avenir des modèles de langue étendus, expliquant que “la phase de pré-entraînement telle que nous la connaissons prend fin, car les données dont nous disposons s’épuisent.” Mais cela n’indique pas que l’intelligence artificielle ne continuera pas à progresser : “À l’avenir, l’intelligence artificielle apprendra à raisonner.”
Nous sommes à un moment charnière dans le développement des modèles de langue étendus (LLM) comme ChatGPT : « La phase de pré-entraînement telle que nous la connaissons aujourd’hui touche à sa fin. » Ce n’est pas un expert en intelligence artificielle ordinaire qui l’affirme, mais l’un des fondateurs d’OpenAI, ainsi qu’un ancien directeur de la recherche, parmi les esprits à l’origine de ChatGPT, Ilya Sutskever.
Lors d’une conférence à Vancouver, au Canada, le scientifique russe — qui a quitté OpenAI il y a un an pour fonder son propre laboratoire d’intelligence artificielle Safe Superintelligence Inc. — a expliqué que, bien que les capacités de calcul de ChatGPT continuent de se développer et de devenir de plus en plus puissantes, les données qui ont été utilisées jusqu’à présent pour son entraînement commencent à s’épuiser. Cela peut sembler difficile à croire, mais pour vaste que soit le web, il a aussi une fin : « Les données n’augmentent pas, car nous avons seulement un internet, » a déclaré Sutskever.
Nous avons épuisé les données pour entraîner l’IA
Qu’indique cela ? Le fait que la phase de pré-entraînement tire à sa fin n’indique pas que les modèles de langue étendus ne connaîtront pas d’autres avancées. Plusieurs scénarios sont envisageables. L’ancien numéro deux d’OpenAI a suggéré que l’intelligence artificielle elle-même pourrait générer de nouvelles données, ou que les modèles de langue étendus pourraient adopter des méthodes de raisonnement plus proches de celles des humains, tandis que certains scientifiques envisagent d’exploiter le monde réel pour fournir à l’intelligence artificielle de nouvelles données pour s’améliorer.
Le fait que jusqu’à présent, l’IA à la base des modèles de langue étendus se soit entraînée est devenu évident chaque fois que ChatGPT a commis des erreurs majeures, de véritables hallucinations. En somme, une fois la phase de pré-entraînement épuisée, durant laquelle les modèles de langue étendus apprennent à partir d’un grand volume de données non étiquetées, les entreprises devront chercher d’autres sources de matériel. Le père de ChatGPT a comparé cette situation à ce qui se passe depuis quelques décennies avec les combustibles fossiles : ils sont en train de s’épuiser, d’où la nécessité de se tourner vers d’autres sources énergétiques.
À quoi ressemblera ChatGPT dans le futur
Sutskever est formel : nous attend un avenir de machines super-intelligentes, qui raisonneront de plus en plus en imitant la pensée humaine, avec une compréhension de plus en plus profonde, jusqu’à devenir conscientes d’elles-mêmes. Alors qu’aujourd’hui, les modèles utilisant l’intelligence artificielle sont des agents, c’est-à-dire qu’ils automatisent des processus complexes qui nécessiteraient autrement une intervention humaine, copiant cependant un modèle qu’ils ont déjà appris, dans le futur, ils apprendront à raisonner, même à partir de données limitées, acquérant un mode de pensée similaire à celui de l’homme. Cependant, plus l’intelligence artificielle s’exercera à raisonnner — a affirmé Sutskever — plus les probabilités qu’elle devienne imprévisible augmenteront.