Microsoft a dévoilé Muse, un modèle innovant d’intelligence artificielle capable de transformer la création de jeux vidéo. Grâce à des séquences de jeu réelles, cette technologie promet de redéfinir le design numérique, facilitant ainsi la préservation et l’actualisation de jeux classiques. Une avancée d’une importance cruciale pour l’industrie du gaming.
Une de ses applications possibles : revivre des jeux classiques
Microsoft a récemment présenté son premier Modèle Humaine et d’Action Mondiale (WHAM), déjà connu sous le nom de Muse. Ce modèle génératif d’intelligence artificielle est conçu pour créer des graphismes de jeux vidéo et des actions de manette ou les deux, à partir d’un prompt initial bref, et ses applications dans le domaine promettent d’être nombreuses.
Cette innovation, fruit du travail collaboratif des équipes de Microsoft Research Game Intelligence et Teachable AI Experiences en partenariat avec Ninja Theory des Xbox Games Studios, promet de transformer la manière dont les jeux sont conçus et vécus par les joueurs.
Comment cela fonctionne
Le fonctionnement de Muse repose sur le modèle mondial, où le modèle prédit l’évolution du jeu à partir d’une séquence initiale de seulement une seconde de jeu humain, soit 10 images. À partir de cette introduction succincte, Muse génère à la fois les graphismes et les actions de la manette correspondants, respectant la logique interne du jeu vidéo.
Plus la séquence générée ressemble à une jouabilité réelle, plus le modèle est capable de capturer et de reproduire les complexités de l’environnement virtuel.
De moins à plus
L’équipe de Microsoft a dû relever le défi d’améliorer la capacité de son modèle d’intelligence artificielle (IA) à traiter rapidement de grandes quantités de données. Ils ont utilisé de puissantes unités de traitement (GPU) pour l’entraîner, commençant par une technologie plus ancienne (les V100) avant de passer à une plus puissante (les H100), ce qui leur a permis de gérer plus de données à une vitesse accrue, aboutissant à des images de meilleure qualité.
De plus, ils ont dû décider comment comprendre et traiter les actions des contrôleurs de jeux vidéo et les images générées. Au départ, les images produites n’étaient pas très détaillées (seulement 128×128 pixels), mais au fil du temps, ils ont réussi à améliorer la qualité des images demandées, atteignant une résolution plus élevée de 300×180 pixels, permettant une visualisation plus nette des séquences de jeu générées par l’IA.
L’IA nécessite des données, et en grande quantité
Muse s’entraîne en utilisant des données réelles de jouabilité. En particulier, plus de 1 milliard d’images et d’actions de manette ont été extraites de sept ans de jeu continu dans Bleeding Edge, le jeu multijoueur développé par Ninja Theory sorti en 2020. Ce vaste ensemble de données a permis à Muse d’apprendre la dynamique et la structure du monde virtuel, se traduisant par des séquences de jeu générées qui sont cohérentes et réalistes pendant des périodes allant jusqu’à deux minutes.
Consistance, diversité et persistance
Pour évaluer la qualité de Muse, trois métriques fondamentales ont été établies : consistance, diversité et persistance. La consistance mesure la capacité du modèle à maintenir une séquence de jeu en respectant la dynamique et les règles de l’environnement virtuel ; la diversité évalue la variété des séquences possibles à partir d’un même prompt initial, et la persistance se réfère à la capacité du modèle à intégrer les modifications apportées par l’utilisateur sans perdre la cohérence globale.
Avec cet outil, les utilisateurs peuvent charger un prompt visuel, par exemple, une image promotionnelle du jeu Bleeding Edge, et voir comment Muse génère de multiples continuations. Par ailleurs, la mise en œuvre de la capacité de persistance permet d’introduire des modifications dans la séquence (comme l’ajout d’un nouveau personnage) et que le modèle intègre de manière cohérente ces changements dans le reste de la séquence générée.
La préservation de jeux classiques dans le viseur
L’impact de Muse dépasse le cadre du design de jeux vidéo. Peter Lee, président de Microsoft Research, a souligné dans son blog la similitude entre l’apprentissage du langage observé dans des modèles comme ChatGPT et la capacité de Muse à comprendre et reproduire la mécanique des interactions dans des environnements 3D.
Fatima Kardar, vice-présidente corporative de l’IA gaming chez Microsoft, a également indiqué que cette technologie pourrait être utilisée pour préserver et actualiser des jeux classiques, les optimisant pour fonctionner sur n’importe quel dispositif, représentant un grand avancement pour la conservation du patrimoine numérique.
Dans cette optique, Microsoft a décidé de mettre à la disposition de la communauté ces outils ainsi que le WHAM Demonstrator via Azure AI Foundry, encourageant la collaboration et le développement de nouvelles applications basées sur Muse. Cette approche de code ouvert permettra à des chercheurs et développeurs d’explorer, d’apprendre et de construire sur les avancées réalisées, propulsant une nouvelle ère dans le design itératif et créatif de jeux vidéo.