La technologie ‘Audio2Face’ de Nvidia utilise l’IA pour générer des animations faciales synchronisées sur les lèvres pour les fichiers audio

La Technologie 'audio2face' De Nvidia Utilise L'ia Pour Générer Des

Innovation de l’IA : le développement de jeux est un processus incroyablement long et coûteux, les budgets consacrés à l’art et à l’animation grugeant souvent une bonne partie des réserves de trésorerie d’une équipe. Une animation faciale crédible, en particulier, est essentielle pour les titres comportant de nombreuses cinématiques. C’est pourquoi Nvidia travaille sur un outil basé sur l’IA qui peut lire des fichiers audio et créer des animations faciales correspondantes en temps réel ; aucun mocap n’est requis.

Cette technologie, appelée « Audio2Face », est en version bêta depuis plusieurs mois maintenant. Il n’a pas semblé attirer beaucoup d’attention jusqu’à plus récemment, malgré ses implications potentiellement révolutionnaires pour les développeurs de jeux (ou simplement les animateurs dans leur ensemble).

Comme on peut s’y attendre de toute technologie à la fois alimentée par l’IA et toujours en version bêta, Audio2Face n’est pas parfait. La qualité de l’audio source aura un impact considérable sur la qualité de la synchronisation labiale de la technologie, et cela ne semble pas faire un très bon travail de capture des émotions faciales. Quelle que soit la phrase que vous lancez au caractère « Digital Mark » par défaut d’Audio2Face, les yeux, les joues, les oreilles et le nez restent tous assez statiques. Il y a certains mouvement, mais il est généralement plus discret que les animations des lèvres, qui sont clairement l’objectif principal.

La technologie Audio2Face de Nvidia utilise lIA pour generer des

Mais c’est peut-être une bonne chose. Transmettre des émotions précises face à un personnage 3D est ce que les animateurs s’entraînent pendant des années à accomplir. Selon la facilité avec laquelle cet outil est mis en œuvre dans le flux de travail d’un développeur donné, il pourrait fournir des animations de synchronisation labiale utiles, peut-être des espaces réservés, tout en permettant aux animateurs de se concentrer sur d’autres parties du visage d’un personnage.

1636419787 10 La technologie Audio2Face de Nvidia utilise lIA pour generer des

Certains de nos lecteurs, ou simplement des fans inconditionnels de Cyberpunk 2077, se souviendront peut-être que le titre de CDPR utilisait une technologie similaire appelée « JALI ». Il a utilisé l’IA pour synchroniser automatiquement le dialogue dans toutes les principales langues prises en charge par le jeu (celles avec à la fois des sous-titres et des doublages), allégeant ainsi le fardeau des animateurs eux-mêmes.

Audio2Face n’a pas cette capacité, pour autant que nous puissions en juger, mais cela semble toujours utile. Si nous entendons parler de cas où un développeur a profité de la technologie, nous vous le ferons savoir. Si vous voulez essayer vous-même, la version bêta ouverte est disponible en téléchargement, mais sachez simplement que vous aurez besoin d’un GPU RTX quelconque pour qu’il fonctionne correctement.