Le physique, la position de la tête et les expressions sont générées séparément. Le nouveau modèle n’a besoin que d’une image et d’un son pour générer une vidéo réaliste. « Nous ne le publierons pas avant d’être sûr qu’il soit utilisé de manière responsable. »
De son sourire à peine esquissé, pour lequel elle est connue dans le monde entier, jusqu’à la chanson rap chantée avec des expressions faciales exagérées. La Gioconda s’est présentée au public d’Internet avec une performance vocale notable réalisée grâce à l’intelligence artificielle. Elle se déplace, écarquille les yeux, ouvre la bouche de manière presque excessive lorsqu’elle prononce les vers de la chanson rap.
Le nouveau modèle d’intelligence artificielle, appelé VASA-1, a été créé par un groupe de recherche Microsoft, qui a trouvé un moyen de combiner l’audio avec une simple photo (ou, dans ce cas, une peinture) pour générer des vidéos réalistes de personnes parlant ou chantant.
Comment fonctionne VASA-1, l’IA qui crée des deepfakes à partir d’une simple photo
La Gioconda ouvre la bouche et montre ses dents, tandis que sa tête se déplace de manière spectaculaire dans le carré de seulement 512 pixels dans lequel elle se produit. Elle prononce chaque mot de la chanson rap avec précision, chantée pour la première fois à la télévision par l’actrice Anne Hathaway lors d’un talk-show animé par Conan O’Brien. Ce n’est pas le seul exemple publié par Microsoft Research Asia, qui utilise les traits d’un célèbre tableau. Des hommes et des femmes du monde entier se livrent à de courtes monologues, parfois en regardant une caméra imaginaire, parfois en regardant autour d’eux.
Cependant, aucun d’entre eux n’existe dans la vie réelle. Toutes les images initiales ont été créées par des intelligences artificielles telles que Copilot de Microsoft et Dall-E, le générateur d’OpenAI. Les images ont été associées à l’audio d’un ensemble de données de voix de célébrités appelé VoxCeleb2, puis le tout a été soumis au modèle d’intelligence artificielle. Celui-ci a ensuite transformé les images statiques en les animant, les synchronisant avec l’audio.
Quand pourra-t-on utiliser le nouveau modèle d’intelligence artificielle de Microsoft
La formation de VASA-1 a été réalisée avec des milliers de visages aux expressions très différentes. Mais le véritable secret du modèle réside dans la façon dont le résultat final est généré : en séparant trois caractéristiques fondamentales, à savoir l’apparence physique à reproduire, la position de la tête et l’expression faciale. De cette manière, il est possible de contrôler séparément les trois éléments et d’obtenir un résultat globalement réaliste. Les modèles, en effet, bougent la tête pour insister sur certaines parties du discours, clignent des yeux, regardent à droite et à gauche, sourient à la caméra.
Pour l’instant, les vidéos sont limitées à des carrés animés à 45 images par seconde (descendant à 40 en direct). À l’avenir, nous pourrions voir une technologie similaire appliquée, par exemple, aux films d’animation ou aux jeux vidéo. En attendant, cependant, nous devrons attendre un peu avant de pouvoir l’utiliser. En effet, les chercheurs expriment leur inquiétude à l’idée de distribuer le modèle au public. De telles technologies, en effet, peuvent être utilisées pour usurper l’identité d’autres personnes en volant simplement leur photo. « Nous n’avons pas l’intention de publier de démos, de produits ou de détails supplémentaires sur la mise en œuvre tant que nous ne sommes pas certains que la technologie sera utilisée de manière responsable et en conformité avec la législation en vigueur », ont déclaré les chercheurs dans l’étude publiée par Microsoft.