Adobe a dévoilé une nouvelle fonctionnalité fascinante pour Firefly, permettant de générer des vidéos à partir d’images et de textes. Avec des outils innovants pour Premiere Pro, les utilisateurs peuvent désormais étendre des clips, ajuster la position de la caméra et profiter de vidéos de qualité, tout en évitant des problèmes de droits d’auteur.
Firefly peut désormais générer des vidéos à partir d’instructions d’image et de texte, ainsi qu’étendre des clips existants, a annoncé Adobe lundi. Cette nouvelle fonctionnalité est actuellement en cours de déploiement pour les abonnés de Premiere Pro.
La fonction de génération vidéo fait ses débuts avec plusieurs nouveaux outils pour Premiere Pro et l’application web Firefly. Par exemple, l’outil Generative Extend de Premiere Pro peut ajouter jusqu’à deux secondes de séquence AI au début ou à la fin d’un clip, tout en permettant des ajustements de la position de la caméra, du suivi et même des sujets du plan en plein milieu de celui-ci.
La vidéo générée est disponible en résolution de 720p ou 1080p à 24 images par seconde (fps). L’outil peut également prolonger les effets sonores et le bruit ambiant d’un clip de jusqu’à 10 secondes, bien qu’il ne puisse pas faire de même avec les dialogues parlés ou les scores musicaux.
L’application web Firefly reçoit également deux nouveaux outils d’IA : les outils Text-to-Video et Image-to-Video, qui sont en cours de déploiement dans une bêta publique limitée, et vous pouvez demander à rejoindre la liste d’attente ici. Ces outils font exactement ce qu’ils promettent. Text-to-Video génère des clips courts dans une variété de styles artistiques et permet aux créateurs d’affiner le vidéo généré en utilisant les commandes de la caméra de l’application web.
De manière similaire, Image-to-Video utilise à la fois une instruction textuelle et des images de référence pour rapprocher le modèle de ce que le créateur a en tête, et ce en moins d’itérations. Ces deux nouvelles fonctionnalités prennent environ une minute et demie pour générer des vidéos allant jusqu’à cinq secondes de 720p de résolution et 24 fps.
Bien que ces nouvelles fonctionnalités de génération vidéo ne soient pas particulièrement révolutionnaires — les solutions Gen-3 de Runway, Movie Gen de Meta et Sora d’OpenAI présentent des fonctionnalités et des capacités presque identiques — Firefly offre à ses utilisateurs un avantage par rapport aux autres modèles en ce sens que ses résultats sont « commercialement sûrs ».
Adobe a formé son modèle Firefly sur des images d’Stock, du contenu sous licence ouverte et du contenu du domaine public, ce qui signifie que ses productions générées ne risquent pas de déclencher de réclamations pour violation de droits d’auteur. Si seulement on pouvait en dire autant pour les concurrents Runway, Meta et Nvidia.