Les smartphones Pixel 11 de Google intègrent une fonctionnalité permettant de traduire la langue des signes en texte en temps réel. Cette innovation, basée sur l’IA DeepMind, vise à faciliter la communication pour les personnes sourdes ou malentendantes directement depuis l’appareil.
Les smartphones sont des outils essentiels au quotidien, mais leur potentiel peut être encore étendu. Google a identifié cette possibilité et y travaille activement. Sa dernière proposition, intégrée aux nouveaux Pixel 11, permet à ces téléphones de lire et d’interpréter la langue des signes.
Android comprend désormais la langue des signes
Il est possible de se placer face à la caméra d’un Pixel 11, de communiquer en langue des signes et de voir ses mouvements convertis en texte. Cette fonction est conçue principalement pour les personnes sourdes ou malentendantes. Elle permet d’écrire des messages, d’effectuer des recherches sur internet ou même de dialoguer avec Gemini sans toucher au clavier. L’outil s’intègre directement avec Gboard et la Transcription Instantanée.
Pour l’instant, elle traduit uniquement la Langue des Signes Américaine (ASL) vers l’anglais. Cette fonctionnalité repose sur SL2T, un nouveau modèle développé par Google DeepMind. Son fonctionnement est plus complexe que celui d’un simple outil de conversion parole-texte. Les langues des signes ne remplacent pas chaque mot par un mouvement. Elles possèdent leur propre grammaire, structure et vocabulaire.
Le Pixel 11 effectue des traductions en temps réel
De plus, comprendre une phrase exige davantage que de suivre les gestes des mains. Le sens dépend aussi des bras, du visage, de la tête, du tronçon et de l’espace dans lequel chaque geste est réalisé. Le système doit donc analyser plusieurs mouvements simultanément avant de les traduire en langage écrit. La première étape se déroule directement sur l’appareil mobile.
Un modèle nommé MediaPipe Holistic localise différents points du corps et convertit les mouvements en une série de coordonnées. La vidéo originale est immédiatement supprimée, et seules ces données géométriques sont envoyées aux serveurs pour finaliser la traduction. Le SL2T transforme ensuite les coordonnées en texte. Pour son entraînement, DeepMind a utilisé plus de 100 000 heures d’enregistrements couvrant plus de 50 langues des signes.
Davantage de langues et de smartphones bientôt
Environ un quart de ce matériel provient de la Langue des Signes Américaine. L’entraînement conjoint de toutes ces langues permet à l’intelligence artificielle d’identifier des structures partagées, même si une seule est disponible initialement. Google a aussi préparé le système pour reconnaître les personnes gauchères et celles qui signent avec une main tout en tenant le téléphone de l’autre.
L’entreprise a également cherché à réduire la latence et à empêcher l’IA de traduire lorsque l’utilisateur bouge simplement le téléphone ou place ses mains devant la caméra. Cependant, le SL2T peut encore commettre des erreurs avec des signes rares, une orthographe trop rapide ou des phrases nécessitant plus de contexte. Google annonce que cette technologie sera proposée dans plus de langues et sur plus d’appareils, sans préciser lesquels ni à quelle date.