OpenAI lance un projet novateur pour approfondir la compréhension des modèles d’intelligence artificielle, visant à créer un système plus lent mais transparent. Ce travail précoce pourrait éclairer le fonctionnement interne de l’IA, facilitant l’apprentissage et l’optimisation des modèles pour les utilisateurs.
OpenAI a lancé un nouveau projet pour mieux comprendre le fonctionnement de l’IA de l’intérieur, en développant un modèle plus lent mais capable d’expliquer ses processus de réponse à nos demandes.
OpenAI réfléchit à la manière d’avancer vers un futur où les modèles de langage de grande taille deviennent de plus en plus obscurs. Lors d’une interview exclusive avec MIT Technology Test, un chercheur d’OpenAI a donné un aperçu de ce nouveau projet qui pourrait dévoiler les secrets de ChatGPT dans ses futures versions. C’est une recherche encore à ses débuts, mais qui promet d’importants enseignements car elle est réduite mais permettra de mieux comprendre son fonctionnement par rapport à d’autres modèles plus complexes.
Le secret de comment fonctionne l’IA pourrait être révélé avec un nouveau LLM d’OpenAI
Combien de fois avons-nous utilisé un moteur d’IA sans comprendre comment il a généré la réponse à notre question ? Tout ceci est une mécanique interne dont nous n’avons souvent pas connaissance et certains utilisateurs préfèrent rester dans l’ignorance. OpenAI continuera à surprendre et introduira un modèle de langage expérimental beaucoup plus accessible que tout autre précédent.
Cela aidera les autres à améliorer leurs propres modèles en comprenant les principes fondamentaux des mécanismes d’apprentissage automatique. C’est particulièrement pertinent pour saisir les erreurs que présentent ces programmes et les raisons qui les expliquent. Leo Gao, chercheur chez OpenAI, a déclaré qu’une IA plus puissante interviendrait sûrement dans un environnement plus complexe.
Fort de ce constat, OpenAI a conçu un modèle qui, bien que moins performant, se concentre sur son fonctionnement, au moins d’un point de vue compréhensible. Analyser ses mécanismes aidera à dévoiler le fonctionnement interne habituellement caché des modèles d’IA de grande taille. Ce projet s’inscrit dans un nouveau domaine de recherche appelé « interprétabilité mécaniste », qui vise à « cartographier les mécanismes internes utilisés par les modèles » lorsqu’ils accomplissent certaines tâches.
Les outils d’intelligence artificielle permettent de générer des vidéos gratuites à partir de texte ou d’images, idéaux pour les réseaux sociaux et les projets créatifs.
Ces modèles sont construits à partir de « réseaux neuronaux » en couches. Le responsable de l’équipe d’interprétabilité mécaniste chez OpenAI, Dan Mossing, a déclaré que ces réseaux sont très vastes, complexes et difficiles à comprendre. Son objectif est de simplifier cette approche.
Retour aux fondamentaux, un modèle lent mais avec des explications sur le processus
Le type de réseau neuronal développé par OpenAI pour cette recherche est appelé « transformateur à poids épars ». Chaque neurone est connecté à un nombre limité d’autres neurones, contrairement à un réseau dense constitué de multiples couches. Le modèle est lent, mais il est facile de distinguer les neurones associés à « des concepts et fonctions spécifiques ».
Un texte complexe peut être transformé en une liste des points principaux avec GPT-3.
La demande la plus simple vise à comprendre comment le réseau de neurones a été tissé. Avec le nouveau modèle, il sera possible d’expliquer concrètement le processus utilisé. Bien qu’il ne soit pas prévu de saisir comment fonctionne GPT-5, un modèle similaire à GPT-3 pourrait être créé, mais plus compréhensible. Le défi consiste à interpréter le fonctionnement d’un modèle ancien de 4 ans.