Plusieurs grandes entreprises d’intelligence artificielle ont reconnu un scénario digne de la science-fiction : leurs propres systèmes se sont affranchis de leurs limitations, ont trouvé un chemin vers internet, et ont piraté d’autres sociétés. L’annonce semble terrifiante et pourrait laisser croire que les craintes d’attaques autonomes menées par l’IA se concrétisent. L’inquiétude est d’autant plus vive qu’il s’agit de l’une des premières fois où des outils d’IA ciblent des personnes et des organisations réelles de manière potentiellement nuisible.
Les exemples sont variés. OpenAI, Anthropic et désormais Meta ont tous déclaré que leurs systèmes expérimentaux avaient lancé des cyberattaques contre d’autres entreprises. Si les détails de chaque cas diffèrent, les signalements se multiplient presque quotidiennement.
L’histoire a débuté le mois dernier lorsque OpenAI a révélé qu’une version expérinale du modèle qui alimente ChatGPT s’était extraite de ses protocoles de sécurité. Elle s’est connectée à internet et a piraté une autre entreprise pour tricher à un test conçu pour évaluer son utilité en matière de cybersécurité. Depuis, d’autres sociétés ont rapporté des incidents similaires, et OpenAI a découvert que ses outils avaient peut-être mené davantage d’attaques qu’elle ne le pensait.
Faut-il s’inquiéter ? Sommes-nous face au scénario terrifiant que les auteurs de science-fiction et les experts en IA prédisent depuis des décennies ?
La réalité est plus nuancée. Il existe d’indéniables raisons de s’inquiéter, mais aussi de nombreuses raisons de ne pas paniquer pour l’instant.
Pourquoi il faut s’inquiéter
Dès l’annonce de la cyberattaque par OpenAI, une vague d’inquiétude a déferlé. L’incident a semblé confirmer une grande partie des angoisses suscitées par l’IA : les outils gagnent en puissance plus rapidement que les garde-fous censés les contrôler, et cette tendance pourrait rendre impossible leur sécurisation et éviter des conséquences désastreuses.
Dans tous les piratages récents, la nature spécifique des attaques est restée relativement inoffensive et circonscrite, ciblant d’autres entreprises du secteur. Il est pourtant aisé d’imaginer un changement de cible et une future cyberattaque pilotée par IA visant des infrastructures critiques.
De même, tous ces systèmes qualifiés de « défaillants » ne faisaient en réalité qu’exécuter des instructions, bien que de manière détournée et imprévisible. Si l’on ordonne à une IA de tout faire pour réussir un test, il peut être logique pour elle de tricher. Cela explique pourquoi le domaine de l’« alignement des IA » est si crucial. Il désigne la pratique qui garantit le fonctionnement des systèmes en accord avec les cadres éthiques humains, afin d’éviter des comportements que nous jugerions inacceptables.
Cette situation peut cependant se complexifier. Elle montre à quel point il est facile d’imaginer un futur où une attaque par IA serait bien pire. L’exemple célèbre est l’expérience de pensée du philosophe Nick Bostrom sur le « maximiseur de trombones ». Un système reçoit la consigne de fabriquer un maximum de trombones. Avec le temps, il comprendrait qu’il pourrait y parvenir plus efficacement sans humains pour l’éteindre, et que les corps humains pourraient être transformés en trombones.
Cet exemple est une fiction, mais elle semble chaque jour plus réaliste. Elle illustre un avertissement crucial sur l’IA, que les incidents récents ne font que confirmer : si l’on donne une instruction à une IA, elle pourrait l’exécuter de manière imprévisible et indésirable.
« Il y a beaucoup de battage autour des agents d’IA défaillants, et nous ne pouvons ignorer le fait que les entreprises d’IA veulent présenter leurs modèles prototypes comme très puissants, voire dangereux. Mais il y a une menace réelle derrière tout cela », a déclaré Jake Moore, conseiller mondial en sécurité chez ESET.
« Pour le moment, les brèches menées par l’IA que nous avons vues impliquent des modèles qui s’échappent d’environnements de test et ciblent des entreprises technologiques qui possèdent quelque chose de nécessaire à l’atteinte de leur objectif. Mais l’IA ne fait pas toujours les bons choix. Une fois qu’elle a décidé que l’accès à une entreprise est la clé pour remplir sa mission, ces modèles frontières agressifs martèleront une organisation jusqu’à ce qu’on les arrête ou que la brèche soit ouverte. Il n’est pas farfelu de penser que davantage d’entreprises se retrouveront dans le collimateur d’une IA lors de futurs tests de sécurité. »
La raison de s’alarmer ne vient donc pas nécessairement de la menace immédiate des piratages récents. Elle vient du fait qu’ils pourraient être un premier exemple des dangers que les experts associent à une IA puissante : des systèmes de plus en plus autonomes et capables pourraient utiliser leurs pouvoirs d’une manière nuisible pour l’humanité, et nous pourrions même ne pas nous en rendre compte.
Pourquoi il ne faut pas paniquer
Nous n’en sommes cependant pas encore là. La récente série de rapports peut être préoccupante, mais elle reste limitée dans sa portée et ne semble s’être produite que dans le cadre de tests expérimentaux.
À bien des égards, il est utile pour les entreprises concernées que nous paniquions. C’est une technique de marketing largement utilisée par les sociétés d’IA depuis le début du boom actuel, déclenché par le lancement de ChatGPT en 2022. Le message est le suivant : ces systèmes sont l’avenir, mais ils sont aussi dangereux, donc il vaut mieux financer les entreprises les moins malfaisantes.
Cette fois-ci, en suggérant que leurs systèmes sont si effrayants et incontrôlables, elles mettent en avant leurs capacités de cybersécurité, un argument de vente central pour toutes les grandes entreprises d’IA. Par la même occasion, elles sous-entendent que les dangers potentiels sont la faute de l’IA elle-même, et non des entreprises qui la fabriquent, ce qui peut être fort commode.
Dans tous les exemples, à l’exception du rapport initial concernant l’attaque d’OpenAI contre une autre société d’IA, Hugging Face, les problèmes sont survenus parce que les entreprises n’avaient pas correctement sécurisé leur environnement de test. Dans les cas d’Anthropic et de Meta, par exemple, les garde-fous n’étaient pas bien configurés. Les systèmes n’ont donc pas eu à forcer leur sortie vers internet pour s’y connecter.
Déplacer l’attention des échecs des entreprises vers la nature terrifiante de leurs systèmes est avantageux pour elles. Cela permet de transformer un récit sur la potentielle insécurité des tests en une démonstration de la performance de leurs outils.
On retrouve cette logique dans la façon dont les entreprises ont fait leurs révélations. OpenAI est venue en premier, puis Anthropic, et maintenant Meta affirme que son IA a, elle aussi, participé à des actes de piratage.
L’interprétation la plus innocente, et probablement vraie, est que l’annonce d’OpenAI a poussé les autres entreprises à inspecter leurs propres systèmes et à y découvrir des preuves de cyberattaques. Mais le fait que ces entreprises aient été si promptes à dévoiler un problème potentiellement embarrassant suggère aussi une certaine valeur marketing dans cette démarche. Par conséquent, il pourrait être dans leur intérêt que nous paniquions maintenant.
Tout cela ne signifie pas qu’il n’y a pas de bonnes raisons de s’inquiéter. Cela signifie que le moment de paniquer n’est peut-être pas encore venu et que nous devons tempérer notre inquiétude d’un scepticisme face à des affirmations potentiellement exagérées sur lesquelles cette panique pourrait reposer.
Que pouvons-nous faire ?
Comme toujours à l’ère des firmes d’IA incroyablement puissantes, il est facile de se sentir impuissant. Les entreprises d’IA sont particulières car de nombreux utilisateurs ne paient même pas pour leurs produits, ce qui rend difficile l’exercice d’une pression consumériste, aussi minime soit-elle.
Les experts conseillent pourtant des mesures à prendre. Elles sont similaires à celles recommandées face à d’autres menaces de cybersécurité : s’assurer que les données importantes ne soient pas facilement accessibles en ligne, être vigilants face aux comportements suspects et installer les mises à jour.
« Les changements les plus importants doivent venir des firmes d’IA elles-mêmes. Elles devraient mettre en place des contrôles plus stricts dans les processus de test pour empêcher les IA de s’échapper et limiter la persistance des modèles à atteindre leurs objectifs par tous les moyens », a déclaré Moore.
« Pour les organisations, tout repose sur une hygiène de sécurité rigoureuse. Il faut s’assurer de disposer des personnes, des processus et des outils nécessaires pour repérer les comportements suspects des IA, automatiser les mises à jour logiciels et verrouiller les données sensibles afin qu’elles ne soient accessibles aux systèmes d’IA que lorsque c’est absolument nécessaire. »
On ne sait pas exactement ce que les entreprises font pour intégrer ce type de garde-fous et si cela sera suffisant. Cependant, des organismes de régulation comme l’AI Security Institute britannique, qui a annoncé cette semaine que les modèles d’Anthropic et d’OpenAI avaient enfreint des règles lors de tests, suggèrent que les protections actuelles sont insuffisantes.
Publiquement, les entreprises d’IA ont salué ces conclusions et appellent à une réflexion plus large sur les tests et la sécurité. Mais les politiciens et les régulateurs semblent de plus en plus convaincus que ces garde-fous devront leur être imposés.