Qu’est-ce que Sima, la nouvelle intelligence artificielle de Google qui sait jouer aux jeux vidéo

GOOGLE | Photo de la recherche récemment publiée par DeepMind

DeepMind, la société d’IA acquise par Google, vient de publier une recherche sur son nouveau projet. Il s’appelle Sima et est un nouveau chatbot qui promet d’être capable d’effectuer des centaines d’actions de jeu en répondant aux instructions du joueur humain.

GOOGLE | Photo de la recherche récemment publiée par DeepMindGOOGLE | Photo de la recherche récemment publiée par DeepMind

Écrire du texte, répondre à toutes sortes de questions, effectuer des exercices de mathématiques et même parler, créer des images et des vidéos : depuis le lancement de ChatGPT et des autres chatbots utilisant l’intelligence artificielle, il est clair pour tous que la liste des choses que les grands modèles linguistiques peuvent faire ne cesse de s’étendre. Et maintenant, s’ajoute également la capacité de jouer à des jeux vidéo, ou plutôt d’apprendre à effectuer des centaines d’actions de jeu.

La nouvelle intelligence artificielle s’appelle Sima et a été créée par DeepMind, la société d’intelligence artificielle acquise par Google en 2014. Son nom indique « Scalable Instructable Multiworld Agent » et bien qu’elle soit encore en phase d’expérimentation, DeepMind est prête à parier sur ses capacités : l’objectif est de créer un chatbot capable d’effectuer toute une série de tâches dans une grande variété de jeux vidéo. Il s’agit donc d’un agent avec lequel les utilisateurs pourront interagir à l’intérieur du jeu.

Qu’est-ce que Sima?

Sima est le premier agent d’IA capable de comprendre et de s’adapter à une large gamme de mondes de jeu, à l’intérieur desquels il peut exécuter les instructions données par le joueur, comme le ferait un humain. Une sorte de « compagnon de jeu ».

Si vous vous demandez l’utilité de créer une intelligence artificielle capable de jouer à des jeux vidéo, la réponse ne se limite pas au domaine du jeu lui-même. DeepMind a en effet expliqué comment les jeux vidéo représentent un « terrain d’essai fondamental pour les systèmes d’IA », car « comme la réalité, ils constituent des environnements d’apprentissage riches », en constante évolution. Pour cette raison, l’entreprise explore depuis longtemps les applications de l’IA dans le secteur des jeux vidéo, mais Sima représente une nouveauté importante par communiqué à tous les résultats passés : avec cet agent, DeepMind a expliqué avoir « déplacé l’attention des jeux individuels vers un agent IA instruisible pour jouer ».

Comment fonctionne Sima et quelles actions peut-il effectuer?

Pour créer Sima, Google a collaboré avec huit développeurs de jeux, notamment Embracer, Tuxedo Labs, Hello Games et Coffee Stain, afin de former le chatbot sur neuf jeux vidéo différents, tels que No Man’s Sky de Hello Games et Teardown de Tuxedo Labs. La version actuelle de Sima est capable d’exécuter 600 compétences de base, comprenant la navigation (par exemple, « tournez à gauche »), l’interaction avec les objets (« montez l’escalier ») et l’utilisation des menus (« ouvrir la carte »), et ce dans des délais assez courts, environ 10 secondes.

Pourquoi Sima pourrait fonctionner avec n’importe quel jeu vidéo

Parmi tous les points forts de Sima, celui sur lequel insiste le plus l’entreprise est sa polyvalence : pour fonctionner, l’agent n’a pas besoin d’accéder au code source d’un jeu ni d’API personnalisées (ce sont des mécanismes qui permettent à deux composants logiciels de communiquer entre eux en utilisant une série de procédures).

Pour intervenir dans le jeu vidéo, Sima utilise seulement deux entrées : les images à l’écran et les instructions en langage naturel fournies par l’utilisateur. À l’aide des sorties du clavier et de la souris, l’agent contrôle le personnage principal du jeu et exécute les instructions données. Cette « simplicité » de fonctionnement rend Sima extrêmement polyvalent : « cela indique que Sima peut potentiellement interagir avec n’importe quel environnement virtuel », affirme Google.