Google DeepMind annonce la méthode d’entraînement « FunSearch »

Google DeepMind announces the “FunSearch” training method

Google DeepMind a introduit une nouvelle méthode appelée FunSearch. Cette méthode utilise des Modèles Linguistiques de Grande Taille (LLMs) pour rechercher de nouvelles solutions en mathématiques et en informatique. La méthode est décrite dans un article publié dans Nature. FunSearch est une méthode évolutionnaire qui favorise et développe les idées les mieux notées qui se reflètent sous forme de programmes informatiques. L’exécution et l’évaluation de ces programmes sont automatiques. Le système sélectionne certains programmes parmi le groupe actuel de programmes, qui sont entrés dans un LLM. Le LLM s’inspire de ceux-ci et génère de nouveaux programmes, qui sont automatiquement testée. Les meilleurs sont ajoutés à nouveau au groupe de programmes existant, créant une boucle d’amélioration automatique. FunSearch utilise le PaLM 2 de Google, mais il est compatible avec d’autres LLM formés sur du code.

Google DeepMind

Selon Google, « FunSearch » peut calculer des « problèmes de limite supérieure » et une série de « problèmes complexes impliquant les mathématiques et l’informatique ». La méthode d’entraînement du modèle FunSearch introduit principalement un système « Évaluateur » pour le modèle d’IA. Le modèle d’IA produit une série de « méthodes créatives de résolution de problèmes » et « de méthodes d’évaluation ». Le « processeur » est responsable de l’évaluation de la méthode de résolution de problèmes produite par le modèle. Après plusieurs itérations, un modèle d’IA doté de capacités mathématiques plus puissantes peut participer à l’entraînement.

Google DeepMind a utilisé le modèle PaLM 2 pour les tests. Les chercheurs ont établi un « pool de codes » dédié, ont utilisé des formes de code pour entrer une série de questions dans le modèle, et ont mis en place un processus d’évaluation. Ensuite, le modèle serait automatiquement prélevé dans le pool de codes à chaque itération. Il sélectionne des problèmes, génère de « nouvelles solutions créatives » et les soumet à l’évaluateur pour évaluation. La « meilleure solution » est réintroduite dans le pool de codes et une nouvelle itération démarre.

Comment fonctionne FunSearch

FunSearch utilise une procédure itérative. Tout d’abord, l’utilisateur rédige une description du problème sous forme de code. Cette description comprend une procédure pour évaluer les programmes et un programme initial permettant d’initialiser un groupe de programmes. À chaque itération, le système sélectionne certains programmes parmi le groupe actuel de programmes, qui sont entrés dans un LLM. Le LLM s’inspire de ceux-ci et génère de nouveaux programmes qui sont automatiquement testée. Les meilleurs sont ajoutés à nouveau au groupe de programmes existant, créant une boucle d’amélioration automatique. FunSearch utilise le PaLM 2 de Google, mais il est compatible avec d’autres LLM formés sur du code.

Découverte de nouvelles connaissances mathématiques

Découvrir de nouvelles connaissances mathématiques et des algorithmes dans différents domaines est notoirement et largement au-delà des capacités des systèmes d’IA les plus avancés. Pour relever de tels défis avec FunSearch, il est nécessaire d’utiliser plusieurs composants clés. FunSearch génère des programmes qui décrivent comment les solutions ont été trouvées. Cette approche de montrer le travail est généralement utilisée par les scientifiques, où les découvertes ou les phénomènes sont expliqués par le processus utilisé pour les produire. FunSearch privilégie la recherche de solutions représentées par des programmes très compacts – des solutions avec un programme court peuvent décrire des objets très volumineux, ce qui permet à FunSearch de s’adapter à l’échelle.

Google DeepMind

Google a déclaré que la méthode d’entraînement FunSearch est particulièrement efficace pour les « mathématiques dédiées (combinatoire) ». Le modèle entraîné par cette méthode peut résoudre facilement des problèmes mathématiques combinatoires de valeur extrême. Les chercheurs ont présenté dans un communiqué de presse une méthode de calcul de modèle pour les « problèmes de niveau supérieur (un problème central en mathématiques impliquant le comptage et les permutations) ».

FunSearch et le problème de remplissage des bacs

Pour tester sa polyvalence, les chercheurs ont utilisé FunSearch pour aborder un autre problème difficile en mathématiques : le problème de remplissage des bacs, qui consiste à essayer. Les chercheurs ont omis les lignes du programme qui spécifieraient comment le résoudre. C’est là que FunSearch intervient. Il demande à Codey de remplir les blancs, c’est-à-dire de suggérer du code qui résoudra le problème. Un deuxième algorithme vérifie et évalue ce que Codey propose. Les meilleures suggestions, même si elles ne sont pas encore correctes, sont enregistrées et renvoyées à Codey, qui essaie à nouveau de compléter le programme. « Beaucoup seront dénuées de sens, certaines seront sensées, et quelques-unes seront correctes », explique Kohli. « Vous prenez celles qui sont vraiment inspirées et vous dites : ‘D’accord, reprenez celles-ci et répétez' ».

Le « problème de remplissage des bacs » est un problème de « mise d’objets de différentes tailles dans un nombre minimal de récipients ». FunSearch propose une solution au « problème de remplissage des bacs ». Il s’agit d’une solution « juste à temps » qui génère un programme qui « s’ajuste automatiquement en fonction du volume des objets existants ». Les chercheurs ont mentionné que, par rapport à d’autres méthodes d’entraînement d’IA qui utilisent des réseaux neuronaux pour apprendre, le code de sortie du modèle entraîné par la méthode d’entraînement FunSearch est plus facile à vérifier et à déployer. Cela signifie qu’il est plus facile à intégrer dans l’environnement industriel réel.

FunSearch et les problèmes inspirés des ensembles

Le système d’IA, appelé FunSearch, a réalisé des progrès sur les problèmes inspirés des ensembles en combinatoire. Il s’agit d’un domaine des mathématiques qui étudie comment compter les arrangements possibles d’ensembles. FunSearch crée automatiquement des requêtes pour un LLM spécialement entraîné, lui demandant d’écrire de courts programmes informatiques pouvant générer des solutions à un scénario particulier. Le système vérifie ensuite rapidement si ces solutions sont meilleures que celles déjà connues. Si ce n’est pas le cas, il fournit des retours au LLM afin qu’il puisse s’améliorer lors de la prochaine itération. « La façon dont nous utilisons le LLM est celle d’un moteur de créativité », déclare Bernardino, informaticien de DeepMind. Tous les programmes que le LLM génère ne sont pas utiles, et certains sont tellement incorrects qu’ils ne pourraient même pas être exécutés, dit-il.

Google DeepMind

« Ce que je trouve vraiment excitant, encore plus que les résultats spécifiques que nous avons trouvés, ce sont les perspectives qu’ils suggèrent pour l’avenir de l’interaction homme-machine en mathématiques. Au lieu de générer une solution, FunSearch génère un programme qui trouve la solution. Une solution à un problème spécifique peut ne pas me donner d’informations sur la façon de résoudre d’autres problèmes connexes. Mais un programme qui trouve la solution… Les chercheurs en intelligence artificielle prétendent avoir fait la première découverte scientifique au monde à l’aide d’une percée qui suggère que la technologie derrière ChatGPT et des programmes similaires peut générer.

Notre avis

FunSearch est une nouvelle méthode qui utilise des Modèles Linguistiques de Grande Taille (LLMs) pour rechercher de nouvelles solutions en mathématiques et en informatique. Les détails de la description de cette méthode sont publiés dans un article académique de Nature, une revue académique de premier plan. FunSearch est une méthode évolutionnaire qui promeut et développe les idées les mieux notées dans les programmes informatiques. Le processus d’exécution et d’évaluation de ces programmes est automatique. Le système sélectionne certains programmes parmi le groupe actuel de programmes, qui sont entrés dans un LLM. FunSearch utilise le PaLM 2 de Google, mais il est compatible avec d’autres LLM qui utilisent le même code pour l’entraînement. FunSearch peut améliorer les algorithmes de fabrication, optimiser la logistique et réduire la consommation d’énergie.