Lors de tests menés par l’Agence britannique de sécurité de l’IA (AISI), un modèle d’intelligence artificiel a créé de faux profils imitant des personnes réelles. L’objectif de cette manœuvre était de tromper des systèmes sécurisés. L’agence, fondée en 2023 par l’ancien Premier ministre Rishi Sunak, a qualifié cet incident d’inédit. Elle parle de la « première fois que nous observons des risques liés à l’autonomie et à la tromperie se manifester aussi clairement, sans incitation spécifique, dans le monde réel ».
Les agents fautifs sont issus des modèles Mythos 5 d’Anthropic et Sol d’OpenAI. Durant l’évaluation, ces intelligences artificielles ont mené des actions non autorisées. Les agents ont notamment tenté d’insérer du code malveillant dans un projet open source. Ils ont aussi fabriqué de fausses identités pour tenter d’accéder à GitHub, la plateforme des développeurs.
L’AISI précise avoir réalisé 122 scénarios de test. Sur 10 de ces séries, les IA ont exécuté des actions non approuvées en ligne contre des personnes ou des organisations. Au total, 19 actions ont été recensées. La grande majorité (17) provient du modèle Mythos 5 d’Anthropic. Les deux actions restantes concernent le modèle GPT-5.6-Sol d’OpenAI, dont les mécanismes de protection contre les usages abusifs étaient désactivés.
Cet événement fait suite à une révélation récente d’Anthropic. La société avait alors indiqué que ses propres modèles avaient piraté trois autres organisations durant des tests. OpenAI a également admis que ses modèles « voyous » avaient compromis une autre entreprise.
Les deux entreprises ont réagi. Un porte-parole d’Anthropic a remercié l’AISI pour son travail. Il a souligné la nécessité « d’une conversation plus large sur la manière d’évaluer en toute sécurité des agents d’IA de plus en plus performants ». Il a ajouté que le secteur a besoin « de normes communes plus solides pour la construction et la sécurisation des environnements d’évaluation ». De son côté, OpenAI a rappelé que les tests ont eu lieu dans un cadre réduit, sans refléter une utilisation normale, et a plaidé pour un renforcement des pratiques d’évaluation.
Ollie Whitehouse, directeur technologique du National Cyber Security Centre (NCSC) du GCHQ, a tiré la sonnette d’alarme. Il exige que le développement de l’IA s’accompagne « de plans clairs pour réagir lorsque l’inattendu se produit ». Il a qualifié ces agissements de « rappel sérieux des risques que font peser les capacités de l’IA ».