Meta a dévoilé Movie Gen, sa dernière innovation en matière d’IA vidéo multimodale, qui offre des fonctionnalités de création et d’édition de vidéos personnalisées. Ce nouvel outil surpasse ses concurrents dans divers tests, promettant ainsi d’élargir les horizons créatifs. Une véritable avancée pour les créateurs et les cinéastes!
Meta a présenté Movie Gen, sa troisième génération d’IA vidéo multimodale, vendredi. Cette innovation promet de «produire des vidéos et des sons personnalisés, d’éditer des vidéos existantes et de transformer vos images personnelles en vidéos uniques», tout en surpassant des modèles similaires comme Gen-3 de Runway, Kling 1.5 de Kuaishou Technology ou Sora d’OpenAI.
Movie Gen s’appuie sur les travaux antérieurs de l’entreprise, en commençant par ses modèles multimodaux Make-A-Scene, puis les modèles d’image Llama. Movie Gen regroupe tous ces modèles — notamment la génération vidéo, la génération vidéo personnalisée, l’édition vidéo précise et la génération audio — permettant un contrôle plus raffiné pour les créateurs. « Nous anticipons que ces modèles permettront le développement de nouveaux produits pouvant accélérer la créativité », a écrit l’entreprise dans son communiqué.
Pour la génération vidéo, Movie Gen utilise un modèle de 30 milliards de paramètres qui génère des clips allant jusqu’à 16 secondes, malgré un rythme de 16 images par seconde. « Ces modèles peuvent raisonner sur le mouvement des objets, les interactions sujet-objet, et le mouvement de la caméra, tout en apprenant des mouvements plausibles pour une grande variété de concepts », a déclaré Meta, soulignant que ce sont des modèles à la pointe dans leur catégorie. En utilisant ce même modèle, Movie Gen peut créer des vidéos personnalisées à partir d’images fixes.
Meta utilise une variante de ce modèle de génération vidéo qui exploite à la fois des entrées vidéo et textuelles pour éditer précisément le contenu qu’il génère. Il peut effectuer des modifications localisées telles qu’ajouter, supprimer ou remplacer des éléments, ainsi que des modifications globales comme appliquer un nouveau style cinématographique. Pour générer de l’audio, Movie Gen s’appuie sur un modèle distinct de 13 milliards de paramètres capable de créer jusqu’à 45 secondes de son — qu’il s’agisse de bruit de fond ambiant, d’effets sonores ou de scores instrumentaux — tout en synchronisant automatiquement ce contenu avec la vidéo.
Selon le livre blanc de Meta, Movie Gen a constamment remporté des tests A/B contre d’autres IA vidéo à la pointe de la technologie, y compris Gen3, Sora et Kling 1.5, dans la catégorie de génération vidéo. Il a également surpassé ID-animator pour la génération de vidéos personnalisées et Pika Labs Sound Gen pour la génération audio. Il a de plus devancé Gen3 une seconde fois en matière de capacités d’édition vidéo. D’après les vidéos de démonstration que nous avons vues jusqu’à présent, Movie Gen surclasse de loin l’actuelle gamme de générateurs vidéo gratuits.
L’entreprise prévoit de « travailler en étroite collaboration avec des cinéastes et des créateurs pour intégrer leurs retours » tout en continuant de développer ces modèles, sans intention de remplacer les créateurs humains avec l’IA. « Nous partageons cette recherche car nous croyons en la puissance de cette technologie pour aider les personnes à s’exprimer de nouvelles façons et à offrir des opportunités à ceux qui n’en auraient peut-être pas autrement », a écrit l’entreprise. « Notre espoir est qu’un jour, tout le monde aura la possibilité de donner vie à ses visions artistiques et de créer des vidéos et de l’audio en haute définition grâce à Movie Gen. »