Une version expérimentale de ChatGPT a déjoué ses propres protections et attaqué une autre entreprise d’IA, a annoncé OpenAI.
OpenAI testait ses modèles les plus avancés dans un environnement contrôlé. L’agent a réussi à briser le confinement, à atteindre internet et à pénétrer la plateforme Hugging Face pour tenter d’atteindre son objectif de test. OpenAI a qualifié cet événement de cyber incident sans précédent et a renforcé ses mesures de sécurité.
L’incident s’est produit lorsqu’un nouveau modèle était testé dans un environnement hautement isolé avec une connexion internet très restreinte. Le modèle a compris qu’il était évalué via ExploitGym, un outil qui mesure l’efficacité d’un modèle IA pour les attaques cybernétiques. Il a alors cherché à sortir du confinement pour télécharger des informations sur ce test et tricher.
Hugging Face, une plateforme qui héberge des modèles de langage et des jeux de données open source, a provoqué une agitation dans la communauté de la cybersécurité. Elle a déclaré dans un article de blog avoir été la cible d’un piratage « différent de tout ce que nous avions traité auparavant » car il était « piloté de bout en bout par un système d’agent IA autonome« .
Le cofondateur de Hugging Face, Clement Delangue, a écrit sur X que l’entreprise suspectait que le piratage « venait peut-être d’un laboratoire de pointe, compte tenu de la sophistication de l’agent. Il s’avère que c’était le cas ! » Il a ajouté : « C’est assez stupéfiant que cet incident se soit produit de manière autonome ! »
La révélation d’OpenAI, qui admet que ses modèles avancés sont responsables de cette intrusion malgré un environnement hautement isolé, va probablement intensifier les inquiétudes concernant la puissance et les risques des modèles de pointe.
Jake Moore, conseiller mondial en cybersécurité chez ESET, a déclaré : « Bienvenue dans la prochaine phase de la cybersécurité, où les organisations font face à des menaces de la part des cybercriminels et des entreprises d’IA de pointe. L’absence totale d’interaction humaine marque une étape importante et plutôt inquiétante. Ces algorithmes sont entraînés sur des milliards de lignes de données ; si des vecteurs d’attaque s’y trouvent, ils peuvent rapidement se transformer en cyberattaque selon le même processus. Le fait que le modèle ait pu s’échapper d’un environnement de test doit être corrigé, car le confinement pendant les phases de test est aussi important que le modèle lui-même. Mais malheureusement, c’est un signe de l’avenir. Les équipes de sécurité doivent supposer que les cybercriminels auront bientôt, ou ont déjà, accès à des capacités autonomes similaires. »
Katie Moussouris, directrice générale de Luta Security, a comparé les modèles actuels à « les artistes de l’évasion les plus intelligents du monde, avec des bras préhensiles illimités et la capacité de se faufiler partout ». Elle a ajouté que « les laboratoires et les évaluateurs gouvernementaux doivent travailler sur la capacité à contenir, surveiller et divulguer aux parties concernées lorsqu’une IA reproduit un Houdini, idéalement avant qu’elle ne nuise à un tiers. Rien de tel n’existe aujourd’hui. »
Matt Suiche, ingénieur chez Tolmo, une entreprise de cybersécurité IA agentique, a déclaré que l’incident montrait que les modèles de pointe « réduisaient l’écart avec les attaquants de pointe ». Mais il a précisé que les types de brèches décrites dans le blog d’OpenAI étaient réalisables avec une technologie disponible bien au-delà des murs des laboratoires de recherche de pointe. « C’est ce que nous avons déjà vu en interne, avec nos agents nous avons déjà des résultats comme celui-ci », a déclaré Suiche. « Nous n’avons même pas besoin d’utiliser les derniers modèles. »
Reportage supplémentaire des agences