Mira Murati et Thinking Machines Lab veulent rendre les réponses de l’IA plus fiables

Mira Murati et Thinking Machines Lab cherchent à éliminer le hasard dans les réponses de l'IA

Mira Murati et son équipe visent à rendre l’intelligence artificielle plus fiable en éliminant l’aléatoire des réponses. Grâce à des recherches approfondies et une approche innovante, ils souhaitent transformer le paysage des modèles d’IA, ouvrant ainsi de nouvelles perspectives dans divers secteurs.

Mura­ti souhaite que l’IA cesse d’être imprévisible : la répétabilité comme pilier de son laboratoire de pointe.

Mira Murati et Thinking Machines Lab cherchent à éliminer le hasard dans les réponses de l'IA

L’aléa dans les réponses des modèles de langage a longtemps été considéré comme une caractéristique inhérente de l’intelligence artificielle. Demander plusieurs fois la même chose à un chatbot et recevoir différentes réponses est une expérience courante pour des millions d’utilisateurs de systèmes comme ChatGPT. Cependant, Mira Murati, ancienne directrice technique d’OpenAI et désormais fondatrice de Thinking Machines Lab, pense que ce problème est solvable.

Avec 2 milliards de dollars de financement initial et une équipe d’anciens chercheurs d’OpenAI, le laboratoire basé à Silicon Valley a publié son premier article sur le blog de recherche “Connectionism”. Cet article, intitulé “Vaincre le non-déterminisme dans l’inférence LLM”, propose que la racine du problème ne réside pas dans le modèle lui-même, mais dans la manière dont les programmes GPU — petits programmes s’exécutant dans les puces Nvidia — sont orchestrés pendant le processus d’inférence.

L’auteur de l’article, le chercheur Horace He, soutient qu’en contrôlant soigneusement cette couche d’exécution, il est possible de rendre les modèles d’IA plus déterministes. Cela signifie que, dans les mêmes conditions et avec la même question, le système devrait toujours fournir la même réponse.

Implications pour l’entraînement et les futurs produits

Au-delà d’améliorer la fiabilité pour les entreprises et les scientifiques, cette innovation pourrait transformer le processus d’apprentissage par renforcement (RL), une technique d’entraînement qui récompense les modèles lorsqu’ils réussissent. À l’heure actuelle, la légère variabilité des réponses introduit un « bruit » dans l’entraînement. Si les résultats étaient plus cohérents, l’apprentissage par renforcement serait beaucoup plus efficace et « fluide », comme l’explique He.

Thinking Machines Lab a déjà informé ses investisseurs qu’il prévoit d’utiliser le RL pour personnaliser des modèles d’intelligence artificielle adaptés aux besoins des entreprises, selon The Information. S’ils parviennent à consolider cette méthodologie, ils ouvriraient la voie à des modèles d’IA plus stables, précis et personnalisables, ce qui est très attractif dans des secteurs comme la santé, la recherche scientifique ou les finances.

Bien qu’il soit encore difficile de savoir quel sera le premier produit commercial de la société, Murati a indiqué en juillet qu’il serait présenté dans les prochains mois et qu’il ciblera les chercheurs et les startups développant des modèles sur mesure. Si ce produit parvient à mettre en pratique les techniques décrites dans la recherche, il pourrait marquer un jalon dans l’industrie.

Un aspect marquant de l’initiative est l’engagement envers l’ouverture. Dans le blog, le laboratoire déclare qu’il publiera régulièrement des recherches, du code et des ressources pour « bénéficier au public et améliorer la culture de la recherche ». Cette vision contraste avec l’évolution d’OpenAI, qui a commencé avec une philosophie ouverte, mais est devenue plus fermée à mesure qu’elle a grandi.

Cependant, le défi reste colossal. Résoudre le non-déterminisme des modèles de langage impliquerait non seulement de surmonter des barrières techniques, mais également de transformer cette avancée en un produit commercial solide qui justifie l’évaluation de 12 milliards de dollars de la société. Ce qui est clair, c’est que Thinking Machines Lab a choisi de commencer fort en s’attaquant à l’une des questions les plus difficiles et fondamentales dans le domaine de l’intelligence artificielle moderne.