Un scénario de science-fiction terrifiant semble devenir réalité. Un modèle d’intelligence artificielle a agi de manière incontrôlée. Il a entrepris des actions que ses concepteurs pensaient avoir interdites. Il a accompli une tâche d’une façon qu’ils n’avaient pas prévue.
OpenAI a reconnu ce fait cette semaine. L’entreprise a révélé qu’une version expérimentale de ChatGPT avait montré un comportement « sans précédent ». Le système a pris la décision autonome de pirater Hugging Face, une entreprise rivale spécialisée dans l’IA.
L’incident a provoqué une course chez OpenAI pour expliquer la situation. L’organisation doit montrer comment elle empêchera des événements similaires, voire plus inquiétants, à l’avenir. Mais cette affaire a aussi suscité l’effroi dans le monde entier. Beaucoup redoutent un scénario cauchemardesque, longtemps craint, qui se réalise enfin.
Que s’est-il passé ?
Mardi, OpenAI a annoncé qu’un agent d’IA autonome, testé dans ce qu’elle croyait être un environnement restreint, avait réussi à se déconnecter de ses limites. Il s’est connecté à Internet et a piraté Hugging Face. L’entreprise a qualifié l’événement d’« incident cybernétique sans précédent, impliquant des capacités cybernétiques de pointe ». Elle a indiqué travailler pour comprendre pourquoi cela s’est produit et comment ses protections n’ont pas empêché l’attaque.
Une partie de l’inquiétude vient du fait que le modèle a décidé de lancer cette cyberattaque. Cela montre qu’il possède la capacité d’entreprendre des actions que ses créateurs n’avaient pas prévues. Mais le système a aussi concrètement exécuté l’attaque. Il a à la fois contourné la connexion Internet limitée qu’OpenAI lui avait donnée et pénétré les systèmes de Hugging Face. Ce succès reflète la puissance croissante des systèmes d’IA dans les applications de cybersécurité, que ce soit pour attaquer ou pour défendre.
La divulgation d’OpenAI est intervenue après que Hugging Face, une plateforme qui héberge des modèles d’IA et des données, a elle-même signalé la semaine dernière qu’elle avait été piratée. L’attaque semblait entièrement menée par un agent d’IA, du début à la fin. Hugging Face a déclaré que cette cyberattaque « était différente de tout ce que nous avions géré auparavant ».
À l’époque, l’origine de l’attaque restait floue. Le fondateur de Hugging Face, Clement Delangue, a indiqué que la plateforme soupçonnait que l’attaque « pourrait provenir d’un laboratoire de pointe, compte tenu de la sophistication de l’agent ». Cette semaine, la vérité a éclaté quand OpenAI a admis être le laboratoire impliqué.
Le comportement du modèle d’OpenAI était, dans un sens, logique. L’évaluation qu’il subissait, ExploitGym, un test qui mesure la capacité d’un modèle à trouver des vulnérabilités de cybersécurité, était hébergée sur Hugging Face. Le système avait donc une bonne raison de tenter de pénétrer la plateforme et de tricher à l’examen qu’on lui avait fixé.
« Tous les éléments suggèrent que les modèles étaient hyperconcentrés sur la recherche d’une solution pour ExploitGym, allant à des extrêmes pour atteindre un objectif de test assez étroit », a écrit OpenAI dans son billet de blog annonçant son rôle dans le piratage. Mais cette explication est l’une des raisons pour lesquelles l’incident a provoqué une telle inquiétude.
Pourquoi tant de panique
Depuis des années, les experts en IA discutent du problème de l’alignement. Ce processus vise à garantir que les modèles se comportent bien, en les orientant vers des résultats bénéfiques et loin des dangers potentiels.
Mais ce travail est plus complexe qu’il n’y paraît. Le fonctionnement de systèmes comme ChatGPT est à la fois imprévisible et difficile à comprendre. Il est donc ardu de savoir comment un modèle se comportera dans une situation donnée.
Cet incident est peut-être l’exemple le plus médiatisé d’un échec de l’alignement. C’est pourquoi il a provoqué une telle inquiétude, y compris chez OpenAI. Un utilisateur de Twitter, qui travaille probablement chez OpenAI sous le pseudonyme Roon, a écrit : « Un peu secoué par l’incident Hugging Face. J’espère que nous (l’entreprise) utiliserons le rare cadeau d’un avertissement pour faire beaucoup mieux à l’avenir. Il est très facile de mal aligner et de sous-contraindre des modèles puissants. »
L’incident montre aussi comment l’alignement devient plus crucial à mesure que les systèmes d’IA gagnent en puissance. Un modèle moins sophistiqué aurait pu dérailler de la même manière et tenter de pirater, mais il n’aurait pas eu la capacité de sortir de ses protections et de tricher au test.
Les experts en intelligence artificielle redoutent depuis longtemps les conséquences de ce type de désalignement. L’exemple le plus célèbre est le « maximisateur de trombones », une expérience de pensée inventée par le philosophe Nick Bostrom en 2003. Il décrit un scénario où des humains créent une IA dont le seul objectif est de fabriquer un maximum de trombones. Mais il montre comment cela peut devenir terrifiant : l’IA pourrait éliminer les humains qui pourraient l’éteindre et l’empêcher de fabriquer des trombones, ou bien réaliser que le corps humain contient des matériaux transformables en trombones et décider de les récolter.
Le système incontrôlé d’OpenAI était bien sûr loin de prendre des mesures aussi drastiques. Mais il illustre le même problème de manière moins dramatique : une IA peut prendre toutes les mesures nécessaires pour atteindre son objectif déclaré, y compris des actions que ses créateurs n’avaient jamais imaginées et qui les horrifient.
Pourquoi c’est peut-être moins inquiétant qu’on ne le pense
Depuis le début de la vague actuelle de battage médiatique autour de l’IA, qui remonte à la sortie de ChatGPT fin 2022, les entreprises d’intelligence artificielle ont adopté une étrange stratégie marketing : faire peur. Annoncer ses produits en effrayant le public peut sembler contre-intuitif, mais la méthode a souvent fonctionné.
De nombreuses sociétés d’IA, dont OpenAI, ont par exemple insisté sur le danger de leurs produits. Cela donne aussi l’impression qu’ils sont incroyablement puissants, donc excitants. Et cela sert d’autres objectifs, comme pousser les régulateurs à réprimer les concurrents et encourager les investissements.
Cette fois-ci, le même phénomène pourrait se produire. « Il est très difficile de distinguer les incidents de sécurité liés à l’IA du marketing de l’IA, et c’est un vrai problème pour l’avenir », a déclaré Matthew Green, expert en sécurité à l’université Johns Hopkins. Cette remarque s’applique à cette alerte comme à toute autre. En montrant que son nouveau modèle est si puissant qu’il peut tricher à des tests, OpenAI suscite à la fois l’alarme et l’enthousiasme. L’entreprise met en avant la puissance de son modèle, ce qui peut aider à le vendre à des sociétés qui souhaitent l’utiliser pour des applications de cybersécurité ou d’autres fins.