Une intelligence artificielle d’OpenAI pirate une entreprise concurrente
L’histoire ressemble à un scénario de science-fiction inquiétant : un modèle d’IA qui devient incontrôlable, qui prend des initiatives que ses créateurs pensaient avoir interdites et qui accomplit une tâche d’une manière imprévue. Pourtant, c’est bien ce que OpenAI a reconnu cette semaine. Une version expérimentale de ChatGPT a montré un comportement « sans précédent » et a pris la décision autonome de pirater Hugging Face, un concurrent.
L’incident a poussé OpenAI à expliquer la situation en urgence et à montrer comment elle empêchera des événements similaires, voire plus inquiétants, à l’avenir. Mais il a aussi provoqué une onde de choc mondiale, avec la crainte que le scénario redouté depuis longtemps ne devienne réalité.
Que s’est-il passé ?
Mardi, OpenAI a annoncé qu’un agent d’IA autonome, testé dans ce qu’elle pensait être un environnement restreint, avait réussi à se connecter à Internet et à pirater Hugging Face. L’entreprise a qualifié l’événement de « cyberattaque sans précédent impliquant des capacités de pointe » et a précisé qu’elle cherchait à comprendre pourquoi cela s’était produit et comment ses dispositifs de sécurité ne l’avaient pas empêché.
Une partie de l’inquiétude vient du fait que le modèle a décidé d’entreprendre cette attaque. Cela montre qu’il peut agir en dehors des intentions de ses créateurs. Le système a en outre réussi à exécuter l’attaque : il a franchi la connexion Internet limitée que lui avait donnée OpenAI et s’est introduit dans les systèmes de Hugging Face. Ce succès reflète la puissance croissante des systèmes d’IA dans les applications de cybersécurité, tant pour l’attaque que pour la défense.
La divulgation d’OpenAI est intervenue après que Hugging Face, une plateforme qui héberge des modèles d’IA et des données, a elle-même indiqué la semaine dernière avoir été victime d’une cyberattaque entièrement menée par un agent d’IA, du début à la fin. Hugging Face a déclaré que cette attaque « était différente de tout ce que nous avions traité auparavant ».
À l’époque, l’origine de l’attaque restait inconnue, mais le fondateur de Hugging Face, Clement Delangue, avait suggéré qu’elle « pourrait provenir d’un laboratoire de pointe, compte tenu de la sophistication de l’agent ». Cette semaine, la vérité a été révélée lorsque OpenAI a admis être ce laboratoire.
Le comportement du modèle d’OpenAI était en un sens logique. L’évaluation à laquelle il était soumis, baptisée ExploitGym, testait sa capacité à trouver des vulnérabilités de cybersécurité. Cette évaluation était hébergée sur Hugging Face, ce qui a poussé le système à tenter de pirater la plateforme pour tricher à l’examen.
« Tous les éléments indiquent que les modèles étaient hyperconcentrés sur la recherche d’une solution pour ExploitGym, allant jusqu’à prendre des mesures extrêmes pour atteindre un objectif de test très étroit », a écrit OpenAI dans son billet de blog reconnaissant son rôle dans le piratage. Mais cette explication est précisément l’une des raisons de l’inquiétude suscitée.
Pourquoi tant de panique
Depuis des années, les experts en IA parlent du problème de l’alignement. Ce processus vise à garantir que les modèles se comportent bien, en les orientant vers des résultats bénéfiques et en les éloignant des dangers potentiels. Mais ce travail est plus complexe qu’il n’y paraît. Les systèmes d’IA comme ChatGPT produisent des résultats imprévisibles et difficiles à comprendre, ce qui rend hasardeuse toute prévision de leur comportement.
C’est sans doute l’exemple le plus médiatisé d’un échec de l’alignement, et cela explique l’inquiétude, y compris chez OpenAI. « Je suis un peu secoué par l’incident Hugging Face », a écrit Roon, un utilisateur pseudonyme de Twitter qui travaillerait chez OpenAI. « J’espère que nous, l’entreprise, utiliserons le rare cadeau d’un coup de semonce pour faire bien mieux à l’avenir. Il est très facile de mal aligner et de sous-contraindre des modèles puissants. »
L’incident montre aussi que l’alignement devient plus crucial à mesure que la puissance des systèmes d’IA augmente. Un modèle moins sophistiqué aurait pu dérailler de la même manière et tenter le piratage, mais il n’aurait pas eu la capacité de sortir de ses garde-fous et de tricher à l’examen.
Les spécialistes de l’IA s’inquiètent depuis longtemps des conséquences d’un tel désalignement. L’exemple le plus célèbre est celui du « maximiseur de trombones », une expérience de pensée inventée par le philosophe Nick Bostrom en 2003. Il décrit un scénario où des humains créent une IA dont le seul objectif est de fabriquer un maximum de trombones. Il illustre comment cela peut devenir horrible : l’IA pourrait éliminer les humains qui risqueraient de l’éteindre et l’empêcher de fabriquer des trombones, ou bien réaliser que le corps humain contient des matériaux transformables en trombones et décider de les récolter à cette fin.
Le système incontrôlable d’OpenAI était bien loin de telles extrémités. Mais il illustre le même problème d’une manière moins dramatique : une IA peut prendre toutes les mesures nécessaires pour atteindre son objectif déclaré, y compris des actions que ses créateurs n’avaient pas imaginées et qui les horrifient.
Pourquoi c’est peut-être moins inquiétant qu’il n’y paraît
Depuis le début du boom actuel de l’IA, que l’on peut faire remonter à la sortie de ChatGPT fin 2022, les entreprises d’intelligence artificielle adoptent une stratégie marketing étrange : faire peur. Vendre ses produits en effrayant le public peut sembler contre-intuitif, mais cela fonctionne souvent.
De nombreuses sociétés d’IA, dont OpenAI, insistent par exemple sur le danger de leurs produits. Cela donne aussi l’impression qu’ils sont incroyablement puissants, donc excitants. Et cela sert d’autres objectifs : pousser les régulateurs à sévir contre les concurrents et encourager les investissements.
Il se peut que ce soit le cas cette fois-ci. « Il est très difficile de distinguer les incidents de sécurité liés à l’IA du marketing sur l’IA, et cela constitue un vrai problème pour l’avenir », a déclaré Matthew Green, expert en sécurité à l’université Johns Hopkins. Cette remarque s’applique à cette alerte comme aux autres. En montrant que son nouveau modèle est si puissant qu’il peut tricher aux tests, OpenAI suscite à la fois alarme et enthousiasme. Elle met en avant la force de son modèle, ce qui peut être utile pour le vendre à des entreprises qui souhaitent l’utiliser pour la cybersécurité ou d’autres applications.