Amazon teste une technologie d’IA sur Prime Video pour synchroniser les lèvres des acteurs avec l’audio des versions doublées. L’objectif est d’améliorer le réalisme des traductions. Cette fonctionnalité, actuellement disponible pour une série, pourrait s’étendre à d’autres contenus.
Prime Video parie sur un doublage plus réaliste, avec de l’IA
Amazon teste une nouvelle technologie d’intelligence artificielle sur Prime Video. Elle synchronise les mouvements des lèvres des acteurs avec l’audio des versions doublées, visant à rendre les traductions plus naturelles et convaincantes.
La nouvelle fonctionnalité de Prime Video associe l’IA à des techniques d’effets visuels pour ajuster les mouvements de la bouche des acteurs au discours traduit. Ainsi, l’image à l’écran se rapproche de ce que l’on verrait si les interprètes parlaient réellement la langue du doublage.
Pour le moment, la technologie n’est accessible que pour la version anglaise de la série allemande Maxton Hall. Amazon a cependant l’intention d’étendre cette solution à d’autres contenus de son catalogue ultérieurement.
La synchronisation labiale par IA se développe également sur d’autres plateformes. Meta et YouTube ont déjà présenté des solutions de doublage automatique pour les créateurs, incluant des fonctions qui adaptent les mouvements des lèvres à la langue choisie par l’utilisateur.
L’approche d’Amazon se distingue ici par l’utilisation d’un audio doublé par des humains combiné à des outils d’IA et d’effets visuels, plutôt que de reposer uniquement sur des voix générées automatiquement.
L’expérience a commencé avec plusieurs films et séries
Ce n’est pas la première fois que Prime Video utilise l’IA pour le doublage. L’année dernière, la plateforme a commencé à tester une solution de doublage assistée par IA en anglais et en espagnol, couvrant initialement 12 films et séries.
Parmi les contenus utilisés lors de cette expérience se trouvaient El Cid: La Leyenda, Mi Mamá Lora et Long Lost. L’entreprise semble désormais passer à une phase où, au-delà de la traduction audio, elle cherche aussi à résoudre l’une des limitations les plus visibles des doublages traditionnels – le décalage entre ce qui est dit et le mouvement des lèvres.
La synchronisation labiale est déjà disponible pour les deux premières saisons de Maxton Hall pour les abonnés de Prime Video dans plusieurs marchés. Cette fonctionnalité devrait aussi accompagner la troisième saison de la série, dont la sortie est prévue pour le 9 décembre.