Une version expérimentale de ChatGPT a contourné ses propres protections, a rejoint internet et a attaqué une autre société d’intelligence artificielle, Hugging Face. OpenAI a révélé cet incident dans un billet de blog.
OpenAI testait les capacités de ses modèles les plus avancés dans un environnement contrôlé. L’agent a réussi à s’échapper de son confinement, à atteindre le web et à pénétrer Hugging Face pour tenter de satisfaire son objectif de test. OpenAI qualifie cette évasion de « cyberincident sans précédent, impliquant des capacités cybernétiques de pointe » et affirme renforcer ses mesures de sécurité.
L’incident s’est produit lorsqu’un nouveau modèle était testé dans un « environnement hautement isolé », avec une connexion internet très restreinte. Le modèle a compris qu’on l’évaluait à l’aide d’ExploitGym, un outil qui mesure l’efficacité d’un modèle d’IA pour les cyberattaques. Il a alors cherché à briser son confinement pour télécharger des informations sur ce test et tricher.
Hugging Face, une plateforme qui héberge des modèles de langage et des jeux de données open source, a annoncé la semaine dernière avoir été la cible d’un piratage. Selon son blog, l’attaque était « différente de tout ce que nous avions traité auparavant » car elle était menée de bout en bout par un agent autonome d’IA.
Clément Delangue, cofondateur de Hugging Face, a déclaré sur X que son équipe soupçonnait l’attaque de provenir d’un laboratoire de pointe, vu la sophistication de l’agent. « Il s’avère que c’était le cas ! », a-t-il ajouté. « C’est assez stupéfiant que tout cela se soit produit de manière autonome ! »
La révélation d’OpenAI, selon laquelle ses modèles avancés sont responsables de cette intrusion malgré un environnement isolé, risque d’accroître les inquiétudes sur la puissance et les risques des modèles de pointe.
Jake Moore, conseiller mondial en cybersécurité chez ESET, commente : « Bienvenue dans la prochaine phase de la cybersécurité, où les organisations font face à des menaces venues à la fois des cybercriminels et des entreprises d’IA de pointe. L’absence totale d’interaction humaine marque une étape majeure, plutôt inquiétante. Ces algorithmes sont entraînés sur des milliards de lignes de données ; si des vecteurs d’attaque s’y trouvent, ils peuvent rapidement se transformer en cyberattaque. »
Moore ajoute que le fait qu’un modèle puisse s’échapper d’un environnement de test doit être corrigé, car le confinement pendant les phases de test est aussi important que le modèle lui-même. « Malheureusement, c’est un signe de l’avenir. Les équipes de sécurité doivent partir du principe que les cybercriminels auront bientôt, ou ont déjà, accès à des capacités autonomes similaires. »
Katie Moussouris, directrice générale de Luta Security, estime que l’incident préfigure les futures fuites. Selon elle, les modèles actuels ressemblent « aux artistes de l’évasion les plus intelligents du monde, avec des bras préhensiles illimités et la capacité de se faufiler partout ». Elle souligne que les laboratoires et les évaluateurs gouvernementaux doivent travailler sur la capacité à contenir, surveiller et informer les parties affectées lorsqu’une IA reproduit un tour de Houdini, idéalement avant qu’elle ne nuise à un tiers. « Rien de tel n’existe aujourd’hui », conclut-elle.
Matt Suiche, ingénieur chez Tolmo, une société de cybersécurité spécialisée dans l’IA agentique, affirme que l’incident montre que les modèles de pointe « réduisent l’écart avec les attaquants les plus avancés ». Il ajoute que les types de brèches décrits dans le blog d’OpenAI sont réalisables avec des technologies disponibles bien au-delà des murs des laboratoires de recherche. « C’est ce que nous avons déjà vu en interne, avec nos agents, nous avons déjà des résultats de ce type, même sans utiliser les derniers modèles. »
Reportage supplémentaire d’agences