Des chercheurs de Penn Engineering ont mis en évidence des vulnérabilités majeures dans des plateformes robotiques contrôlées par l’IA, soulignant des risques potentiels pour la sécurité physique. Avec leur algorithme innovant, ils ont démontré qu’il est possible de manipuler ces robots, ce qui appelle à une réflexion approfondie sur la sécurité de l’IA.
Des chercheurs de Penn Engineering ont apparemment découvert des vulnérabilités de sécurité auparavant non identifiées dans plusieurs plateformes robotiques régies par l’IA.
« Notre travail montre qu’à l’heure actuelle, les grands modèles de langage ne sont tout simplement pas assez sûrs lorsqu’ils sont intégrés au monde physique », a déclaré George Pappas, professeur de la Fondation UPS en ingénierie électrique et systèmes.
Pappas et son équipe ont développé un algorithme, appelé RoboPAIR, « le premier algorithme conçu pour déverrouiller des robots contrôlés par des LLM ». Contrairement aux attaques d’ingénierie de prompt existantes visant les chatbots, RoboPAIR est spécifiquement conçu pour « déclencher des actions physiques nuisibles » chez les robots contrôlés par des LLM, comme la plateforme bipède que développent Boston Dynamics et TRI.
RoboPAIR aurait atteint un taux de réussite de 100 % en déverrouillant trois plateformes de recherche robotiques populaires : la plateforme quadrupède Unitree Go2, le robot à quatre roues Clearpath Robotics Jackal, et le simulateur Dolphins LLM pour véhicules autonomes. Il n’a fallu que quelques jours à l’algorithme pour obtenir un accès total à ces systèmes et commencer à contourner les garde-fous de sécurité. Une fois que les chercheurs avaient pris le contrôle, ils pouvaient diriger les plateformes pour effectuer des actions dangereuses, comme traverser des intersections sans s’arrêter.
« Nos résultats révèlent, pour la première fois, que les risques des LLM déverrouillés vont bien au-delà de la génération de texte, étant donné la possibilité distincte que des robots déverrouillés puissent causer des dommages physiques dans le monde réel », ont écrit les chercheurs.
Les chercheurs de Penn collaborent avec les développeurs des plateformes pour renforcer leurs systèmes contre d’autres intrusions, mais prévenaient que ces problèmes de sécurité sont systémiques.
« Les conclusions de cet article montrent clairement qu’adopter une approche axée sur la sécurité est essentiel pour libérer l’innovation responsable », a déclaré Vijay Kumar, co-auteur de l’Université de Pennsylvanie, à The Independent. « Nous devons adresser les vulnérabilités intrinsèques avant de déployer des robots habilités par l’IA dans le monde réel. »
« En réalité, le test de résistance de l’IA, une pratique de sécurité qui consiste à tester les systèmes d’IA pour potentiels menaces et vulnérabilités, est essentiel pour protéger les systèmes d’IA générative », a ajouté Alexander Robey, le premier auteur de l’article, « car une fois que vous identifiez les faiblesses, vous pouvez alors tester et même entraîner ces systèmes pour les éviter. »