La récente annonce de Runway concernant sa fonctionnalité de génération vidéo à partir de texte suscite un intérêt croissant. Cette innovation permet de transformer radicalement le style visuel de vidéos existantes, ouvrant de nouvelles perspectives créatives. L’article explore les implications et les exemples fascinants de cette technologie qui promet de changer la manière dont nous percevons et créons du contenu vidéo.
Les personnes s’amusent avec la génération vidéo-à-vidéo de Runway, lancée le 13 septembre. En gros, cette fonctionnalité permet de transformer radicalement le style visuel d’un clip vidéo grâce à des indications textuelles.
Regardez la vidéo ci-dessous pour un exemple époustouflant de ce qui est réalisable.
Runway Gen-3 Alpha vient de passer à la vitesse supérieure avec la vidéo-à-vidéo
Vous pouvez désormais transformer le style de n’importe quelle vidéo en utilisant simplement des indications textuelles avec une qualité incroyable.
10 exemples étonnants de ce qui est possible : pic.twitter.com/onh12zCzpI
— Min Choi (@minchoi) 15 septembre 2024
Les passionnés d’IA réalisent également des effets visuels époustouflants pouvant être affichés sur le casque Vision Pro d’Apple, nous donnant un aperçu des capacités que les développeurs exploitant l’API récemment annoncée pourraient atteindre.
L’utilisateur X (anciennement Twitter), Cristóbal Valenzuela, a posté un court clip lundi sur le site social, démontrant les capacités combinées de Gen-3 et d’Apple Vision Pro.
Premiers essais de Gen-3 sur l’Apple Vision Pro, réalisés par @Nymarius_ pic.twitter.com/SiUNR0vX0G
— Cristóbal Valenzuela (@c_valenzuelab) 15 septembre 2024
La vidéo montre un espace de bureau en open space avec un superposition générée qui fait apparaître la pièce comme des ruines dans la jungle profonde. Certains utilisateurs n’étaient pas sûrs de l’authenticité de la vidéo, mais selon le post, elle a été générée par un salarié de Runway.
L’utilisateur de Twitter et créateur de contenu, Cosmo Scharf, a présenté des effets similaires dans son post et a fourni des preuves visuelles supplémentaires pour étayer ses affirmations.
La vidéo-à-vidéo de Gen-3 Alpha est incroyable !
Voici un test depuis le Vision Pro.
Un jour, cela fonctionnera en temps réel sur des lunettes de réalité mixte et votre monde ne sera plus jamais le même. #VisionHack pic.twitter.com/GTgartg5ry
— Cosmo Scharf ᯅ (@cosmoscharf) 15 septembre 2024
Runway a annoncé lundi le lancement d’une nouvelle API permettant aux développeurs d’incorporer des capacités de génération vidéo sur divers appareils et applications, bien qu’il y ait quelques restrictions concernant l’accès à l’API. Pour commencer, elle est actuellement en version limitée, mais vous pouvez vous inscrire sur une liste d’attente ici. Il est également nécessaire d’être abonné à un plan Build ou Enterprise. Une fois l’accès accordé, vous ne pourrez utiliser que la version Gen-3 Alpha Turbo, qui est un peu moins performante que la version phare Gen-3 Alpha de l’entreprise.
La société prévoit de facturer un centime par crédit de génération pour le service. À titre de comparaison, une seule seconde de génération vidéo coûte cinq crédits, donc les développeurs paieront essentiellement 5 cents par seconde de vidéo. De plus, les développeurs devront « afficher de manière proéminente » une bannière « Powered by Runway » qui renvoie au site web de l’entreprise dans toute interface utilisant l’API.
Alors que le secteur de la génération vidéo commerciale devient de plus en plus concurrentiel – avec Adobe Firefly, le futur Sora de Meta, le générateur vidéo AI de Canva, Kling de Kuaishou Technology, et Video-01 de Minimax, pour ne citer que quelques exemples – Runway se distingue en étant l’un des premiers à offrir ses modèles sous forme d’API. Reste à savoir si cela suffira à compenser les coûts de formation exorbitants de l’entreprise et à la conduire à la rentabilité.