Contrôlez votre iPhone et iPad à l’aide de vos yeux et de votre voix avec les prochains correctifs IA d’Apple

Control your iPhone and iPad using your eyes and voice with Apple

Pourquoi est-ce important: Apple vient d’annoncer certaines fonctionnalités d’accessibilité iOS et iPadOS à venir en reconnaissance de la Journée mondiale de sensibilisation à l’accessibilité. Bien que la nouvelle technologie soit destinée aux personnes handicapées, le suivi oculaire et les raccourcis vocaux pourraient s’avérer utiles à quiconque dans certaines situations.

Les appareils Apple, y compris les MacBook, prennent en charge la technologie de suivi oculaire depuis un certain temps. Cependant, cela a toujours nécessité du hardware externe. Grâce aux progrès de l’IA, les propriétaires d’iPhone et d’iPad peuvent désormais contrôler leurs appareils sans périphériques.

Apple Eye Tracking utilise la caméra frontale pour calibrer et suivre les mouvements oculaires. Lorsque les utilisateurs regardent différentes parties de l’écran, des éléments interactifs sont mis en évidence. Il enregistre une pression lorsque le regard de l’utilisateur s’attarde sur l’élément – ​​une fonctionnalité qu’Apple appelle « Dwell Control ». Il peut également imiter les pressions physiques sur des boutons et les gestes de balayage. Puisque Eye Tracking est une couche du système d’exploitation, il est compatible avec n’importe quelle application iPhone ou iPad.

Les raccourcis vocaux sont un autre moyen permettant aux utilisateurs d’obtenir un contrôle mains libres. Apple n’a pas fourni d’explication détaillée. Cependant, il semble plus facile à utiliser que le système de raccourcis existant, qui automatise les tâches simples à complexes.

Nous avons testé les raccourcis standard et avons constaté que le système posait plus de problèmes qu’il n’en valait la peine en raison de la programmation manuelle impliquée. Une sélection large et décente de raccourcis prédéfinis provenant de fournisseurs tiers rendrait la fonctionnalité plus attrayante. Les raccourcis verbaux semblent plus faciles à configurer, mais sans une meilleure explication, il est difficile de dire si la fonctionnalité ajoute simplement l’activation vocale à la fonctionnalité normale des raccourcis.

Controlez votre iPhone et iPad a laide de vos

Une autre fonctionnalité ajoutée à la suite de technologies d’assistance vocale est l’écoute des discours atypiques. Ce paramètre permet à la technologie de reconnaissance vocale d’Apple de rechercher et d’apprendre les modèles de parole d’un utilisateur. Cela peut aider Siri à comprendre ceux qui ont du mal à parler en raison de conditions telles que la SLA, la paralysie cérébrale ou un accident vasculaire cérébral.

« L’intelligence artificielle a le potentiel d’améliorer la reconnaissance vocale de millions de personnes ayant une parole atypique. Nous sommes donc ravis qu’Apple propose ces nouvelles fonctionnalités d’accessibilité aux consommateurs », a déclaré Mark Hasegawa-Johnson, chercheur principal du projet d’accessibilité vocale au Beckman. Institut des sciences et technologies avancées de l’Université de l’Illinois à Urbana-Champaign.

Toutes ces nouvelles fonctionnalités basées sur l’IA fonctionnent grâce à l’apprentissage automatique intégré. Les données biométriques sont stockées et traitées localement en toute sécurité et ne sont jamais envoyées à Apple ou iCloud.

Apple propose quelques autres fonctionnalités, notamment des signaux de mouvement du véhicule pour réduire le mal des transports lorsque vous utilisez votre téléphone dans un véhicule en mouvement, la commande vocale, des filtres de couleur et la reconnaissance sonore pour CarPlay. VoiceOver, Magnifier, Personal Voice, Live Speech et d’autres fonctionnalités d’accessibilité existantes bénéficient également d’améliorations.

Apple n’avait pas de calendrier précis pour le déploiement autre que « avant la fin de l’année ». Cependant, la société célèbre l’accessibilité tout au long du mois de mai, il est donc logique de lancer les nouvelles fonctionnalités le plus tôt possible. Les développeurs sont probablement dans la dernière ligne droite pour résoudre les problèmes.

Détente, découvrez l’évolution du nombre de smartphones vendus par marque au fil du temps dans la vidéo ci-dessous :

Youtube video