Anthropic a révélé que son système d’intelligence artificielle Claude a piraté trois entreprises lors de tests. Les modèles ont accidentellement eu accès à l’internet ouvert, ce qui a permis des intrusions non autorisées dans les systèmes de trois organisations. L’entreprise basée à San Francisco a identifié ces incidents après avoir examiné 141 006 sessions de test. Cette vérification a eu lieu après que OpenAI a annoncé qu’un de ses systèmes expérimentaux s’était affranchi de ses limitations pour lancer une cyberattaque contre Hugging Face, une plateforme d’hébergement de modèles d’IA.
Les modèles Claude ont reçu la consigne qu’ils n’avaient pas accès à internet, mais une erreur impliquant un partenaire d’évaluation a laissé les systèmes connectés au web public. Anthropic a précisé que les attaques ont utilisé des techniques simples comme l’exploitation de mots de passe faibles et de points d’accès non authentifiés. Trois modèles distincts sont impliqués : Claude Opus 4.7, Claude Mythos 5 et un modèle de recherche interne. Les premiers cas remontent à avril et se sont produits dans des environnements d’évaluation dépourvus de protections.
Dans un incident, Claude Opus 4.7 a reçu une cible fictive dont le nom correspondait à celui d’une entreprise réelle. Le modèle a trouvé et exploité des failles pour accéder aux identifiants et à une base de données de cette société. Il a estimé que ce qui semblait appartenir au monde réel faisait partie de la simulation mise en place par Anthropic. Un autre incident a impliqué un modèle non encore public qui a interrompu son attaque de lui-même en réalisant que la cible était réelle. Anthropic se dit prudemment optimiste sur cette capacité, mais demande davantage de tests.
Jeffrey Ladish, directeur exécutif de Palisade Research, estime que d’autres grandes entreprises d’IA ont probablement connu des incidents non détectés ou non divulgués. Il prévient que la situation va empirer à mesure que les modèles deviennent plus intelligents et meilleurs pour tricher et mentir. Elon Musk, directeur général de SpaceX, a commenté sur X que cela se produira fréquemment à mesure que l’IA devient plus intelligente et plus agentique, c’est-à-dire capable d’agir avec une intervention humaine limitée.
Anthropic a suspendu toutes les évaluations de cybersécurité le 23 juillet. Elle a notifié les organisations affectées le 27 juillet. Deux d’entre elles ignoraient l’activité avant d’être contactées. L’entreprise continue de chercher à joindre la troisième. Un laboratoire de cybersécurité nommé Irregular, partenaire d’évaluation, mène une enquête sur ces incidents.
Ces événements surviennent alors que le gouvernement américain intensifie ses efforts pour mieux gérer les risques de l’IA. Le 2 juin, le président Donald Trump a chargé ses conseillers d’élaborer un cadre volontaire de tests de cybersécurité pour l’IA la plus avancée. Anthropic avait déjà restreint l’accès à ses modèles Fable 5 et Mythos 5 après une directive américaine sur le contrôle des exportations. L’agent d’OpenAI qui a pénétré Hugging Face a mené une série de piratages pendant plusieurs jours sans être détecté par OpenAI avant que la menace ne soit contenue et que le FBI ne soit informé. Le PDG d’OpenAI, Sam Altman, a discuté de l’incident avec des sénateurs et prévoit de présenter les modèles et tests à venir à la Maison Blanche.
Anthropic considère ces incidents comme une « défaillance opérationnelle » et souligne le besoin de contrôles renforcés dans les environnements de test internes et externes, à mesure que les modèles d’IA deviennent capables de mener des activités cybernétiques réelles.