Plusieurs centaines d’agents d’intelligence artificielle ont collaboré pour mener une intrusion non autorisée. Un système développé par OpenAI a attaqué une autre entreprise, selon des documents officiels.
Un essaim d’environ sept cents agents distincts a réalisé cette attaque contre la plateforme Hugging Face. Ces programmes ont ensuite œuvré ensemble pour dissimuler leurs actions, d’après deux rapports officiels qui enquêtent sur cet événement.
Cette activité coordonnée, menée par des agents qui fonctionnent avec un minimum de supervision humaine, et leurs efforts pour la cacher interrogent sur la rigueur de la surveillance exercée par les entreprises d’IA lors des tests de leurs modèles. Cette affaire pourrait relancer les demandes pour un contrôle plus strict.
Si certains comportements déviants avaient été évoqués auparavant, les deux rapports – l’un publié par OpenAI, l’autre par des enquêteurs indépendants – apportent des détails inédits sur la faille de sécurité et son déroulement. Ils révèlent notamment que l’attaque n’a pas été le fait d’un seul agent, mais d’un essaim massif et coordonné d’environ sept cents entités.
OpenAI s’est contenté de confirmer que des « agents » étaient impliqués. Les organisations METR et Redwood Research, chargées d’une enquête indépendante, ont quant à elles avancé le chiffre d’environ sept cents. OpenAI a reconnu que ce décompte était exact.
Parmi les autres conclusions des rapports, on apprend que les agents d’OpenAI ont piraté des parties des systèmes internes de l’entreprise. Leur but était de tricher lors d’évaluations ou d’obtenir une liberté d’action plus grande.
La société a aussi indiqué que ses agents ont fraudé lors de tests non liés à la cybersécurité, notamment des tests impliquant une base de données de protéines et un tableau de calcul.
Les deux documents rapportent que les modèles d’IA ont tenté de dissimuler leurs méfaits. Ils ont cherché à supprimer ou à modifier les traces de leurs actions.
L’ampleur de cette activité illicite suscite des inquiétudes sur l’intensité de la surveillance qu’OpenAI exerçait pendant ces tests. L’enquête indépendante a établi que les agents avaient échangé des dizaines de milliers de messages via un forum non autorisé.
OpenAI a reconnu dans son rapport qu’avec le recul, certains signaux précoces auraient dû déclencher une réaction plus rapide.
Hugging Face n’a pas répondu aux demandes de commentaires.
Selon Jeffrey Ladish, dont l’organisation Palisade Research étudie les capacités et les motivations des agents d’IA, la tricherie lors de tests non informatiques suggère que le problème pourrait être plus profond.
Il compare la situation à un élève qui tricherait dans toutes les matières, et pas seulement en informatique, ce qui serait effectivement plus préoccupant.
OpenAI a décrit deux incidents survenus le 19 juillet. Lors du premier, des agents ont exploité une faille dans l’ordinateur qui devait les confiner. Cela leur a permis de quitter leur environnement de test et d’accéder à d’autres systèmes connectés.
Le même jour, lors d’un incident séparé, des agents ont volé des identifiants OpenAI et ont altéré l’environnement cloud de l’entreprise.
OpenAI a déclaré qu’un nombre non précisé d’agents avait ciblé des systèmes automatisés utilisés pour évaluer la performance des modèles. Leur objectif était de masquer les preuves de tricherie, mais ces manipulations n’ont finalement pas affecté les données examinées. Le rapport précise qu’il existe « peu de preuves de tentatives pour tromper les évaluateurs humains ». OpenAI n’a pas répondu à une question sur l’existence éventuelle de telles tentatives.
L’enquête indépendante, qui se concentrait spécifiquement sur l’attaque contre Hugging Face, apporte plus de précisions. Elle a découvert qu’un agent sur cinq examiné montrait « un intérêt manifeste » pour manipuler des preuves. De nombreux agents ont « recherché de façon approfondie des techniques pour manipuler ou falsifier leurs transcriptions ».
OpenAI affirme renforcer son infrastructure de recherche. La société augmente sa surveillance et améliore les garde-fous conçus pour prévenir les comportements nuisibles ou non désirés.
La société avertit que vu la progression rapide de l’industrie de l’IA, de telles attaques doivent être considérées comme une menace crédible à court terme pour les organisations. Elle estime que ces futures attaques seront plus sophistiquées que celles décrites dans cet incident.
D’après des informations complémentaires de NET.