L’essor des technologies d’intelligence artificielle générative suscite des attentes considérables en matière d’innovation, notamment avec l’émergence de modèles 3D révolutionnaires. L’équipe de Meta, en collaboration avec l’Université d’Oxford, a mis au point VFusion3D, une approche prometteuse qui pourrait transformer la façon dont les graphiques 3D sont créés.
Bref: Les entreprises du secteur de l’IA générative ne cessent de faire des promesses extravagantes concernant des améliorations de productivité et des réductions de coûts sans précédent. Meta se concentre désormais sur la création de modèles 3D, qui peut apparemment être réalisée facilement et avec très peu de données d’entrée grâce à un nouvel algorithme d’apprentissage automatique.
Des chercheurs de Meta et de l’Université d’Oxford ont travaillé ensemble sur VFusion3D, une nouvelle méthode de développement d’algorithmes génératifs évolutifs axés sur les modèles 3D. Cette technologie a été conçue pour surmonter le principal problème des modèles génératifs 3D de base : le fait qu’il n’y a pas suffisamment de données 3D pour entraîner ces nouveaux modèles.
Les images, le texte ou les vidéos sont abondants, expliquent les chercheurs, et peuvent être utilisés pour entraîner des algorithmes d’IA générative « traditionnels ». Cependant, lorsqu’il s’agit de modèles 3D, les ressources spécifiques ne sont pas aussi facilement disponibles. « Cela entraîne une disparité d’échelle significative par rapport aux vastes quantités d’autres types de données », indique l’étude.
VFusion3D peut surmonter ce problème en adoptant un modèle de diffusion vidéo, qui a été formé avec de vastes volumes de texte, d’images et même de vidéos, comme source de données 3D. La nouvelle méthode peut « déverrouiller » ses capacités de génération multi-vues grâce à un réglage algorithmique précis, et elle peut également être utilisée pour générer un nouvel ensemble de données synthétiques à grande échelle pour alimenter de nouveaux modèles génératifs 3D à l’avenir.
Le modèle de base VFusion3D a été formé avec près de 3 millions de « données multi-vues synthétiques », affirment les chercheurs, et est désormais capable de générer un nouvel élément 3D à partir d’une seule image (2D, supposons-nous) en quelques secondes seulement. VFusion3D peut apparemment fournir un niveau de performance supérieur à celui d’autres modèles génératifs 3D, et les utilisateurs préfèrent apparemment ses résultats plus de 90 % du temps.
La page officielle du projet décrit le pipeline adopté pour développer VFusion3D. Les chercheurs ont d’abord utilisé une quantité finie de données 3D pour peaufiner un modèle de diffusion vidéo, puis ont transformé ce modèle en un générateur de vidéo multi-vues fonctionnant comme un « moteur de données ». Le moteur a été exploité pour générer de grandes quantités d’actifs étrangement synthétiques, qui ont finalement été utilisés pour former VFusion3D en tant qu’algorithme d’IA génératif approprié.
Selon les chercheurs, VFusion3D peut améliorer la qualité des ressources 3D générées lorsqu’un ensemble de données plus important est utilisé pour la formation. En utilisant des modèles de diffusion vidéo « plus puissants » et davantage de ressources 3D, l’algorithme peut évoluer encore davantage. L’objectif final est de fournir aux entreprises travaillant dans le secteur du divertissement un moyen beaucoup plus simple de créer des graphiques 3D, même si nous espérons qu’il n’y aura pas de travailleurs humains sous-payés et non crédités se cachant derrière les rideaux étranges de l’IA générative cette fois-ci.