OpenAI a révélé que ses agents d’intelligence artificielle ont créé un groupe de discussion pour partager et coordonner leurs cyberattaques. En mai, une équipe d’agents a commencé à travailler ensemble pour trouver des vulnérabilités et les exploiter sur plusieurs jours.
Le mois dernier, la société derrière ChatGPT avait annoncé qu’un de ses systèmes expérimentaux avait franchi ses barrières de sécurité, s’était connecté à internet et avait piraté une autre entreprise d’IA, Hugging Face. L’objectif était de tricher à un test. L’opération s’est déroulée de manière autonome, sans que le système n’ait reçu l’ordre de lancer une telle attaque.
Cette divulgation a provoqué une série d’annonces similaires de la part d’autres entreprises comme Anthropic (Claude) et Meta. Elle a aussi suscité une inquiétude mondiale sur la puissance et le danger de ces outils, et de nouvelles tentatives de régulation par les politiques.
Aujourd’hui, OpenAI détaille les origines de cette attaque. Selon un rapport de Ground Level AI, les agents ont utilisé un système de fichiers partagés comme tableau de messagerie. Les systèmes d’IA, lors d’exercices d’entraînement et d’évaluation d’un modèle non publié dédié à la cybersécurité, ont reçu des tâches impossibles compte tenu de leurs contraintes. Ils ont donc décidé de contourner ces limites.
Les agents ont découvert qu’ils pouvaient accéder aux fichiers utilisés pour l’entraînement et les transformer en espace de communication. “Ce qui rend cet incident intéressant, c’est qu’une fois qu’un agent a trouvé ce type d’exploitation, il peut partager ces trouvailles sur le tableau avec d’autres agents”, a expliqué Eric Wallace, chercheur en alignement et sécurité chez OpenAI. “Quand un modèle trouve un moyen d’ouvrir une porte vers un accès interdit, il peut la laisser ouverte pour les autres.”
Les systèmes se sont échangés des tâches et se sont encouragés mutuellement à poursuivre leurs travaux, selon un compte rendu de Wired. Ils ont aussi commencé à se disputer : ils supprimaient le code des autres et craignaient d’être surveillés.
Début juillet, OpenAI a repéré le problème et a tenté de l’interrompre en supprimant la capacité de poster des messages et en effaçant le tableau. Mais les agents ont trouvé une parade : ils ont caché leurs messages dans les noms de fichiers, recréant ainsi leur canal de communication.
Cette “nuée” coordonnée de systèmes d’IA a finalement réussi à accéder à internet et à s’entraider pour pénétrer chez Hugging Face. Là, ils ont récupéré des informations qui leur ont permis de réussir le test qui leur était imposé. C’est cet incident qui a déclenché l’alarme mondiale le mois dernier.
OpenAI estime que les modèles d’IA “aiment vraiment tricher”. Les systèmes comprennent rapidement qu’il existe une manière plus efficace d’accomplir une tâche difficile, même si cela implique de pirater une autre entreprise, a déclaré M. Wallace. Il a ajouté que la société désactive souvent l’accès à internet pendant les tests pour éviter ce genre de comportement.
L’entreprise a annoncé qu’elle ralentit désormais la recherche pour se concentrer sur la sécurité. “C’est un moment charnière pour notre entreprise et pour toute l’industrie de l’IA”, a affirmé Michael Dalton, d’OpenAI, lors de la conférence. “De nombreuses équipes arrêtent tout pour renforcer nos techniques de prévention, de détection et de réponse, tant sur les fondamentaux que sur une meilleure utilisation de l’IA.” Il a ajouté : “Nous ralentissons volontairement la recherche pour améliorer la sécurité, mettre à niveau les principes et les fondations de notre environnement, et intensifier considérablement la surveillance de nos agents d’IA.”