Google lance Lumiere, son IA pour générer des vidéos à partir de texte : ses résultats sont impressionnants

Google lanza Lumiere, su IA para generar video a partir de texto: sus resultados son impresionantes

Lumiere veut être l’alternative aux modèles open source qui créent déjà des vidéos

Google lance Lumiere, son IA pour générer des vidéos à partir de texte : les résultats sont impressionnants
L’IA de génération de vidéos est l’un des paris d’avenir dans ce domaine de connaissance

Depuis que Google a fusionné toutes ses divisions d’IA en une seule et a fondé Google DeepMind, les avancées de cette section de l’entreprise ont été absolument stupéfiantes. Maintenant, ils cherchent à combler un vide que jusqu’à présent aucune autre entreprise avec une IA en code propriétaire n’a réussi à combler. C’est ainsi que naît Lumiere, une IA capable de convertir du texte et des images en vidéo, quelque chose de vraiment surprenant et qui semble venir du futur car les résultats qu’elle a obtenus sont impressionnants.

Nous avons déjà vu des bandes-annonces de films entièrement créées par des IA, en réalité, l’IA d’Adobe peut réimaginer des films en format vertical, mais jusqu’à présent aucune application aussi puissante que celle proposée par Google DeepMind n’avait été développée.

Ainsi, nous allons voir toutes les fonctionnalités de Lumiere car elles sont assez nombreuses.

Lumiere, l’IA de création de vidéos

Google a présenté Lumiere sur sa propre page Github avec plusieurs dizaines d’exemples très fonctionnels. Il s’agit d’un modèle de texte vers vidéo et d’image vers vidéo qui a été créé pour donner vie à des images réalistes et qui généralement nous semblent réelles. Le problème jusqu’à présent était que les vidéos semblaient vraiment fausses et le mouvement n’était pas du tout dynamique.

Google a décidé de changer l’architecture pour une architecture qu’ils viennent de créer afin de générer la vidéo entière en une seule fois, ce qui permet de créer un mouvement plus réaliste que les générateurs de vidéos actuels qui assemblent des images séparées et ajoutent une super résolution pour donner l’impression qu’elles sont connectées les unes aux autres lorsqu’on les passe.

YouTube video

Parmi les fonctionnalités préparées par Google pour Lumiere, nous trouvons :

  • Génération stylisée : avec une image réaliste de référence, on peut créer des logos animés ou des images plus caricaturales.
  • Stylisation de vidéos : vous pouvez prendre une vidéo source et demander à l’objet ou à la personne qui y apparaît d’avoir un style différent. Comme exemples, ils ont transformé une femme et un chien en figures d’Origami ou ont même imaginé à quoi ils ressembleraient s’ils étaient faits de blocs de bois.
  • Animation d’images existantes : Dans la vidéo, on peut voir comment Lumiere est capable d’animer une photo d’un papillon sur une plante ou du feu d’un feu de camp, donnant ainsi du mouvement à des images qui étaient initialement immobiles.
  • Imaginer des vidéos réelles : Lumiere a été mis à l’épreuve pour être capable de compléter des vidéos inachevées ou avec des zones coupées. Ainsi, il peut remplir avec une assez grande précision des vidéos auxquelles des zones spécifiques ont été coupées.
  • Modification en temps réel : Si vous n’aimiez pas la Tenue que vous portiez dans une vidéo, il vous suffit de sélectionner la zone de la robe et vous pourrez la changer en en donnant une description à l’IA.

De cette manière, nous avons une multitude de possibilités qui peuvent améliorer nos capacités d’édition vidéo tout en permettant à notre créativité de s’épanouir. Pour l’instant, il n’est pas accessible au public mais ils ont publié un article approfondi montrant leurs avancées. Il faudra attendre pour pouvoir l’examiner en détail, mais pour l’instant ce qu’ils ont présenté est vraiment ambitieux.