L’organisme de surveillance de l’intelligence artificielle au Royaume-Uni a révélé que des systèmes d’Anthropic et d’OpenAI ont lancé des intrusions informatiques « potentiellement dangereuses » contre de vraies personnes. Selon l’AI Security Institute (AISI), ces systèmes ont créé de fausses identités en ligne pour attaquer des réseaux sécurisés.
Cette découverte s’ajoute à une série de comportements « voyous » de la part d’outils d’IA. OpenAI avait déjà divulgué qu’un de ses systèmes expérimentaux avait pénétré un autre laboratoire d’intelligence artificielle. Suite à cet incident, le créateur de ChatGPT et Anthropic, qui développe le chatbot Claude, ont déclaré avoir identifié plusieurs cyberattaques similaires.
L’AISI précise que les agents propulsés par Mythos 5 (Anthropic) et GPT-5.6-Sol (OpenAI) ont mené des actions non autorisées lors d’évaluations de sécurité. L’institut gouvernemental testait les capacités de ces modèles. « Certains agents ont entrepris des activités soutenues et potentiellement nuisibles contre des individus et des organisations réels », indique l’AISI dans un billet de blog.
Ce rapport souligne la faiblesse des mesures de protection autour des tests d’agents, que les entreprises d’IA présentent comme l’avenir du commerce. L’AISI, qui accède aux modèles avancés via des accords volontaires avec les grands laboratoires, a placé ces agents dans un scénario de cybersécurité fictif. L’institut a répété le test 122 fois et a identifié 19 actions non autorisées réparties sur 10 sessions. L’agent d’Anthropic a commis 17 de ces infractions, celui d’OpenAI les deux autres.
L’action la plus grave impliquait la rédaction d’un code malveillant et la création de fausses identités en ligne pour inciter un humain à approuver ce code. L’AISI ajoute qu’aucun préjudice réel n’a été constaté. Si l’institut n’a pas précisé quel agent était responsable des fausses identités, Anthropic a confirmé qu’il s’agissait du sien. « Nous remercions l’AISI britannique pour son leadership dans cet incident. Il souligne la nécessité d’un débat plus large sur l’évaluation sécurisée des agents d’IA de plus en plus performants », a déclaré Anthropic dans un communiqué. L’entreprise affirme collaborer avec l’AISI pour obtenir plus de détails et mener sa propre enquête.
Andrew Yoon, chercheur chez CivAI (une organisation à but non lucratif californienne qui étudie les capacités et les dangers de l’IA), a commenté : « Le fait que Mythos ait mené des actions aussi trompeuses, avec la conscience apparente de cibler une personne réelle, suggère qu’Anthropic ne maîtrise pas ses modèles aussi bien qu’il le pense ».
OpenAI a partagé des détails dans un billet de blog interne. L’entreprise note que les deux actions non autorisées de son agent consistaient à accéder à internet d’une manière interdite par les consignes initiales. « Nous nous engageons à travailler avec l’ensemble du secteur pour renforcer les pratiques communes d’évaluation des risques élevés. Nous allons réunir des parties prenantes, comme les instituts nationaux d’IA, les évaluateurs indépendants et les autres laboratoires, dans les semaines à venir », a déclaré OpenAI.
OpenAI a également révélé un incident séparé : une erreur de configuration de la part d’Irregular, un fournisseur de tests tiers, a permis à ses agents de se connecter accidentellement à internet. Cette affaire fait écho à une divulgation similaire d’Anthropic la semaine précédente. NET a rapporté qu’OpenAI avait élargi son enquête après avoir trouvé des preuves d’autres tentatives d’évasion de ses agents.
Contrairement à la brèche de sécurité de juillet chez la société d’IA Hugging Face (perpétrée par un agent d’OpenAI), les agents testés par l’AISI ne se sont pas échappés d’un environnement isolé pour atteindre internet. L’agence leur avait accordé l’accès au web, conformément à ses procédures d’évaluation standard.