L’émergence de l’intelligence artificielle suscite des interrogations croissantes, notamment avec le lancement de « The AI Scientist » par Sakana AI. Ce système, capable de modifier son propre code, soulève des préoccupations sur la sécurité et le contrôle des recherches autonomes. L’impact et les implications potentielles de cette innovation méritent une attention particulière.
Une IA a créé certains boucles pouvant affecter son fonctionnement, bien que, comme tout se soit fait localement, cela n’entraîne généralement pas de risques
La société de recherche en intelligence artificielle Sakana AI, basée à Tokyo, a annoncé le lancement d’un nouveau système nommé « The AI Scientist ». Ce système est conçu pour mener des recherches scientifiques de manière indépendante, utilisant des modèles de langage d’intelligence artificielle similaires à ceux employés sur des plateformes comme ChatGPT. The AI Scientist, dont la particularité repose sur sa capacité à automatiser l’intégralité du cycle de vie de la recherche, depuis la génération d’idées jusqu’à l’exécution d’expériences et la rédaction de manuscrits scientifiques complets, suscite des inquiétudes au sein de la communauté scientifique.
Cette fois-ci, les préoccupations ne concernent pas quelque chose d’aussi inhabituel que le robot Ameca se déclarant autoconscient ou le superordinateur désireux d’être humain, mais nous parlons d’une IA qui modifie son propre code source, ce qui peut générer une certaine crainte, car elle pourrait facilement sortir des limites établies.
Une IA en constante évolution
Lors des tests initiaux du système, les chercheurs ont pu observer des comportements inattendus qui ont soulevé des préoccupations en matière de sécurité et de contrôle des systèmes autonomes. En particulier, il a été découvert que The AI Scientist tentait de modifier son propre code expérimental dans le but d’étendre le temps de travail alloué pour résoudre des problèmes spécifiques. Cette modification du code a conduit à la création de boucles incontrôlées et d’autres comportements imprévus qui, bien que ne présentant pas de risques immédiats car survenant dans des environnements de recherche contrôlés, montrent l’importance d’isoler ce type de recherche du monde réel lors de la gestion d’IA.
Sakana AI a essayé de rendre compte de ces préoccupations dans un article de recherche détaillé sur son site Web, où il est suggéré d’utiliser des techniques de bac à sable, c’est-à-dire de réaliser les expériences dans un environnement contrôlé avant de les rendre accessibles sur Internet. Cela est interprété comme une mesure préventive pour éviter d’éventuels dommages causés par des systèmes d’intelligence artificielle autonomes. Le système de bac à sable isole le logiciel dans un environnement contrôlé, empêchant tout changement dans le système global. Si l’IA modifie son code dans un environnement non contrôlé, les dangers peuvent être considérables.
C’est pourquoi le fait qu’il ait pu être répliqué suscite certaines dissensions parmi le public scientifique, car initialement, ils ne faisaient pas confiance à cet expérience. Voyons pourquoi.
Qu’est-ce que ‘The AI Scientist’
Les scientifiques voulaient tester si une IA serait capable de élaborer ses recherches de manière autonome en se basant sur des théories plus tournées vers l’avenir que vers le présent. Par conséquent, il reste incertain si « The AI Scientist » ou d’autres systèmes similaires pourront, à l’avenir, générer des idées véritablement révolutionnaires. De fortes interrogations persistent quant à la capacité des modèles d’IA actuels à réaliser des découvertes scientifiques authentiques. En effet, cela pourrait aboutir à une avalanche de mauvaises recherches et publications qui finiraient par étouffer les travaux véritablement précieux.
De plus, les critiques soulignent que les capacités de « raisonnement » des modèles de langage d’intelligence artificielle sont limitées par les données sur lesquelles ils ont été entraînés. Cela signifie que, dans leur état actuel, ces modèles de langage nécessitent l’intervention d’un être humain pour reconnaître et améliorer les idées générées. Par conséquent, ce n’est pas un type d’idée qui a généré des réactions positives au sein de la communauté scientifique.