Alibaba a présenté EMO : voici la nouvelle IA grâce à laquelle une photo peut se transformer en une vidéo complètement réaliste
Alibaba, le géant chinois du commerce en ligne, a fait un pas qui a surpris énormément d’experts et d’enthousiastes en présentant EMO. Le nom fait référence à ‘Emote Portrait Alive’ et se traduit par une technologie basée sur l’IA pour créer des vidéos à partir d’images. EMO est l’IA générative d’Alibaba qui débarque sur un marché qui ne semble pas saturé de propositions basées sur l’IA.
Ce que fait EMO se résume à donner vie à n’importe quelle photo, en générant une vidéo ultra-réaliste dans laquelle la personne représentée parle ou chante. Alibaba a créé une page officielle pour EMO où il montre en détail comment l’IA est capable d’accomplir cette tâche et donne surtout des exemples des différentes applications pour cet outil.
La magie derrière EMO : l’IA d’Alibaba qui donne vie à n’importe quelle photographie
Le projet a été développé par Linrui Tian, Qi Wang, Bang Zhang et Liefng Bo, chercheurs à l’Institut d’Intelligence Informatique d’Alibaba. Cette équipe a réussi à lancer dans le monde une IA qui peut rivaliser avec Sora, le projet d’OpenAI. Selon l’équipe de chercheurs, EMO est capable de créer des mouvements faciaux expressifs, naturels et fluides.
Tout cela se traduit par des résultats extrêmement réalistes, faisant en sorte qu’un tableau puisse prendre vie et qu’il y ait peu d’éléments qui révèlent son origine. Logiquement, tout cela dans le cadre où l’on prend en compte les autres outils destinés à cette tâche.
Nous proposons EMO, un cadre de génération de portraits et de vidéos expressifs basés sur l’audio. À partir d’une seule image de référence et de l’audio vocal, par exemple, parler et chanter, notre méthode peut générer des vidéos d’avatars vocaux avec des expressions faciales expressives et diverses postures de la tête.
Ce que l’on peut lire sur la page officielle d’EMO explique parfaitement son fonctionnement. Le modèle qu’ils ont développé pour permettre à EMO d’offrir un réalisme lors de la génération des résultats est grâce à sa capacité à capturer tout le spectre des expressions humaines.
EMO a été développée pour servir d’exemple du potentiel de l’IA et n’est pas encore disponible, mais il faudra tenir compte du fait que son utilisation doit respecter des limites éthiques et éviter des situations comme celle de l’école d’Andorre.