Le avancées récentes dans le domaine de l’intelligence artificielle, en particulier avec le modèle o1 d’OpenAI, soulignent une évolution significative vers des systèmes plus autonomes et réactifs. Ce modèle innovant, axé sur l’apprentissage par renforcement, promet de redéfinir la manière dont les IA interagissent et résolvent des problèmes complexes.
Le modèle o1 a été entraîné à résoudre les problèmes par lui-même en utilisant l’apprentissage par renforcement, il utilise donc une “chaîne de pensée” pour traiter les demandes. Cependant, le modèle ne dispose pas encore de nombreuses fonctionnalités, comme la navigation sur le web, la recherche d’informations ou le chargement d’images et de fichiers.
C’est la « chose » artificielle la plus semblable à un être humain. Ou du moins c’est ainsi que OpenAI a défini son nouveau modèle appelé 01. L’intelligence artificielle a été entraînée « avec apprentissage par renforcement pour effectuer des raisonnements complexes. o1 réfléchit avant de répondre : il peut produire une longue chaîne interne de pensées », explique l’entreprise. En d’autres termes, c’est un pas en avant vers le grand projet de toute entreprise qui produit des modèles de grande taille : créer une intelligence artificielle qui dépasse l’être humain.
Au-delà des ambitions d’OpenAI, o1 est pour le moment juste une avant-première, disons une déclaration d’intention pour l’avenir de l’entreprise. En effet, le modèle est plus coûteux et lent que GPT-4o. Non seulement cela, comme l’explique OpenAI, « 01 ne dispose pas encore de nombreuses fonctionnalités qui rendent ChatGPT utile, comme la navigation sur le web pour la recherche d’informations ou le chargement d’images et de fichiers. D’importantes fonctionnalités font également défaut dans l’API, comme le support à l’utilisation d’outils, la fonction d’appel, le streaming et la personnalisation des messages. Pour de nombreux cas courants, pour l’instant GPT-4o reste plus fonctionnel. » OpenAI a également présenté o1-mini, une version plus petite et moins chère qui sera accessible gratuitement à tous les utilisateurs de ChatGPT, mais aucune date de sortie n’a encore été établie.
Qu’est-ce qui change par communiqué à ChatGPT
La différence réside à la base. OpenAI a en effet appris aux modèles précédents GPT à imiter les patterns de ses données d’entraînement. Le modèle o1, cependant, a été entraîné à résoudre les problèmes par lui-même en utilisant l’apprentissage par renforcement (une technique d’apprentissage automatique qui vise à créer des agents autonomes capables de choisir des actions pour atteindre des objectifs spécifiques par interaction avec l’environnement dans lequel ils se trouvent). Il utilise donc une « chaîne de pensée » pour traiter les demandes. De manière similaire aux êtres humains, il aborde les problèmes : en les examinant étape par étape.
Comme l’explique OpenAI : « Ces modèles apprennent à affiner la méthode de traitement en utilisant diverses possibilités et en reconnaissant les erreurs », écrit l’entreprise de Sam Altman. Non seulement cela. « o1 a été entraîné en utilisant un algorithme d’optimisation entièrement nouveau et un nouveau jeu de données d’entraînement spécifiquement adapté pour lui », a expliqué Jerry Tworek, responsable de la recherche chez OpenAI, à The Verge.
« Notre algorithme d’apprentissage par renforcement à grande échelle enseigne au modèle comment penser de manière productive en utilisant sa chaîne de pensée dans un processus de formation hautement efficace en termes de données. Nous avons découvert que les performances de o1 s’améliorent constamment avec plus d’apprentissage par renforcement et davantage de temps consacré à la réflexion (temps de traitement des tests). Les contraintes sur la scalabilité de cette approche diffèrent considérablement de celles du pré-entraînement LLM et nous continuons à les étudier. »
Quel est le coût du modèle o1
Tandis que l’entreprise prévoit de distribuer gratuitement la version mini à tous les utilisateurs, o1 ne sera pas pas cher. L’accès des développeurs à l’API, o1-preview coûte 15 dollars pour 1 million de tokens d’entrée, ou blocs de texte analysés par le modèle, et 60 dollars pour 1 million de tokens de sortie. Pour établir un comparatif, GPT-4o coûte 5 dollars pour 1 million de tokens d’entrée et 15 dollars pour 1 million de tokens de sortie.
« Nous avons passé de nombreux mois à travailler sur le raisonnement car nous pensons que cela représente en réalité le tournant critique », a expliqué Bob McGrew, responsable de la recherche chez OpenAI à The Verge. « Fondamentalement, c’est un nouveau mode pour les modèles d’être capable de résoudre les problèmes vraiment difficiles qui sont nécessaires pour progresser vers des niveaux d’intelligence semblables à ceux des humains ».