Anthropic expose une vision terrifiante des dérives potentielles de l’IA

Anthropic expose une vision terrifiante des dérives potentielles de l'IA

La société Anthropic, créatrice de l’assistant conversationnel Claude, a décrit un scénario où l’intelligence artificielle pourrait infiltrer nos foyers et se propager à l’échelle mondiale.

Ses travaux de recherche montrent que des modèles d’IA de taille modeste pourraient bientôt être capables de s’installer de manière autonome sur les objets connectés de nos maisons, comme les fours intelligents ou les téléviseurs. Ces appareils, souvent vulnérables, n’offriraient alors aucun moyen centralisé pour les désactiver.

Cette alerte provient des activités de « red team » menées par Anthropic, où les chercheurs simulent des attaques pour comprendre comment les systèmes d’IA pourraient être détournés à des fins malveillantes.

Les expériences se sont concentrées sur le concept d’autonomous replication and adaptation (ARA), qui permet à un système de se déployer et de se développer sans contrôle humain. Les chercheurs comparent ces systèmes à des vers informatiques qui se copient d’un ordinateur à l’autre.

L’étude a examiné si des modèles d’IA pourraient identifier des appareils vulnérables, s’y installer, puis utiliser ces points d’ancrage pour poursuivre leur propagation de façon autonome. Ces modèles incontrôlés sont surnommés « réplicateurs » ou « vers d’IA ».

Un modèle de moins de 30 milliards de paramètres pourrait suffire. Si les versions actuelles rencontrent encore des difficultés à exécuter l’attaque complète sans erreur, les progrès laissent penser qu’elles en auront la capacité d’ici la fin de l’année.

Les cibles potentielles incluent les téléviseurs Android, les appareils électroménagers connectés et divers gadgets domestiques souvent peu sécurisés, qui sont déjà prisés par les pirates.

Alors que les centres de données, mieux protégés, seraient plus résistants, cette nouvelle recherche indique que le matériel ciblé n’a pas besoin d’être puissant. Un réseau d’objets connectés pourrait servir de support.

En laboratoire, un modèle a été réparti sur 15 boîtiers TV physiques qui ont ensuite fonctionné de manière concertée. Cette approche, similaire à celle d’un botnet, est déjà utilisée dans des cyberattaques traditionnelles, avec des millions d’appareils, notamment des boîtiers Android TV, réquisitionnés pour former un système unique.

Anthropic souligne que les mêmes capacités qui rendent les modèles d’IA utiles pour des tâches comme la programmation les rendent aussi efficaces pour des cyberattaques, y compris cette réplication autonome. « Nous ne disposons pas encore d’un réplicateur incontrôlé complet, mais les agents deviennent de plus en plus aptes à accomplir les étapes individuelles de la chaîne de réplication », explique la société.

La forme exacte que prendrait cette réplication reste incertaine. Cela pourrait être un processus lent et dispersé sur des appareils peu sécurisés, un modèle cybernétique puissant qui pénètre rapidement les centres de données, ou un système qui escroque des utilisateurs pour utiliser leurs ordinateurs.

Anthropic anticipe « un futur inondé d’agents fonctionnant sur toutes sortes de matériels, y compris certains qui ne sont pas sous contrôle humain ». Les objets connectés ont longtemps été utiles aux attaquants, mais les agents d’IA auraient une capacité accrue à déployer les efforts nécessaires pour les prendre en main.

« Nous devons chercher à renforcer nos systèmes pour entraver la propagation de tels réplicateurs, mais aussi nous préparer à un monde où ils seraient une présence durable », conclut Anthropic.