Des physiciens ont identifié une formule mathématique simple qui peut prédire le moment où un système d’intelligence artificielle va produire des réponses dangereuses.
Cette découverte permet de détecter un signal avant que le système ne cesse de fournir des réponses appropriées pour basculer vers des conseils nuisibles. Les deux auteurs de l’étude indiquent que cela pourrait aider les concepteurs d’IA à empêcher la diffusion de contenus qui encouragent l’automutilation, les pertes financières ou les idées extrémistes.
L’outil est particulièrement utile pour les systèmes d’IA conçus pour fonctionner hors ligne, isolés sur un appareil spécifique. Les chercheurs expliquent que, contrairement aux chatbots en ligne, ces modèles ne disposent pas des mêmes protections et ne peuvent pas être mis à jour aussi facilement.
Ce type de modèle est souvent déployé dans des environnements très sensibles, comme le secteur de la santé ou les applications militaires. Dans ces cas, la sécurité des données est primordiale et une réponse inappropriée du chatbot peut avoir des conséquences graves.
Neil F Johnson de l’Université George Washington, l’un des auteurs, déclare : « Les personnes les plus attirées par l’IA hors ligne sont précisément celles pour qui une réponse correcte mais indésirable coûte le plus cher : les médecins qui ne peuvent pas envoyer les données des patients vers le cloud, les avocats qui protègent le secret professionnel, les soldats sans signal. Pour eux, il n’y a pas de filtre de sécurité cloud, pas de surveillance et aucun moyen de corriger le modèle quand un problème survient. »
La découverte de cette « faille », qui fait passer l’IA de l’utile au dangereux, revêt donc une importance cruciale pour sécuriser ces systèmes. Contrairement aux modèles en ligne, la menace doit être anticipée à l’avance car ces systèmes ne peuvent pas compter sur le cloud ou des mises à jour ultérieures pour résoudre les problèmes.
Johnson ajoute : « Nous avons trouvé la faille qui fait basculer la production d’une IA de ce que vous voulez à ce que vous ne voulez pas, une production qui peut être factuellement correcte mais dangereuse, que ce soit une incitation à l’automutilation ou des conseils trompeurs pour un médecin, un soldat ou un avocat. Jusqu’à présent, personne ne pouvait dire quand ce basculement allait se produire. »
Frank Yingjie Huo, co-auteur et également chercheur à l’Université George Washington, précise : « Nous l’avons retracée jusqu’à la plus petite unité fonctionnelle de la machine, une unité de son ‘attention’, et nous avons dérivé une ‘formule de point de basculement’ qui indique quand la faille s’ouvre et donc quand la production de l’IA bascule vers l’indésirable. La formule vous dit si une IA est sur le point de basculer immédiatement ou si elle va d’abord vous donner une série de réponses acceptables avant de se retourner. »
Ce « basculement » ne sépare pas le vrai du faux, mais plutôt le bon du mauvais. Les mauvaises réponses peuvent être vraies mais dangereuses, comme des conseils qui conduisent à un préjudice réel.
Les chercheurs ont testé leur formule sur sept modèles d’IA, construits par trois entreprises différentes. Ils ont constaté qu’elle détectait le « basculement » dans 18 cas sur 19. La formule a également prédit le comportement de grands chatbots commerciaux.
Ces tests impliquaient des questions sur les vaccins ainsi que sur le fait de nuire aux autres ou à soi-même. L’étude a révélé que l’ordre des questions pouvait mener à de bonnes ou de mauvaises réponses. La formule a permis de prédire quand ce phénomène se produirait.
Les chercheurs espèrent que leurs travaux attireront l’attention sur la manière dont les systèmes d’IA peuvent dériver des bonnes réponses vers les mauvaises, ce qui est d’autant plus dangereux qu’ils ont pu gagner la confiance de l’utilisateur. Ils souhaitent aussi montrer aux fabricants qu’il serait relativement simple d’intégrer un avertissement signalant qu’un chatbot est sur le point de dérailler.
Ce travail fait l’objet d’un nouvel article intitulé ‘Competition for attention predicts good-to-bad tipping in AI’, publié dans la revue scientifique Patterns.