Un nouvel outil de Google permettra aux utilisateurs de pointer des éléments sur leur écran pour obtenir des explications détaillées via Gemini. Baptisée « Dime sobre esto, » cette fonctionnalité promet d’enrichir l’expérience interactive avec des réponses contextualisées sur divers objets d’intérêt.
Google travaille sur une fonction qui permettra de signaler des éléments à l’écran pour une analyse par Gemini
À ce stade, Google continue d’améliorer Gemini, et la société développe une nouvelle fonctionnalité qui permettra de pointer tout élément visible à l’écran pour poser des questions à l’assistant à son sujet. Nommée « Dime sobre esto », elle semble fonctionner de manière intuitive d’après l’analyse de la version beta de l’application Google pour Android.
Le principe est simple : comme avec Circle to Search, vous dessinez un cercle autour de ce qui vous intéresse, et Gemini se charge du reste. Android Authority a découvert cette fonction dans une déconstruction de l’APK, donc pour l’instant, elle n’existe que dans le code, mais elle a un bon potentiel.
À quoi ça sert exactement ?
Cette fonction apparaît sous la forme d’un bouton « Dime sobre esto » lorsqu’on invoque Gemini. Après l’avoir touché, vous pouvez sélectionner n’importe quelle zone de l’écran pour que l’assistant l’analyse et fournisse des informations sur l’élément marqué. Elle est utile pour identifier des objets, traduire du texte visible ou même extraire des données de graphiques complexes.
Ce qui est intéressant, c’est que cela va au-delà de ce que propose Circle to Search. Tandis que cette dernière se concentre sur la reconnaissance d’images, « Dime sobre esto » tire parti des capacités conversationnelles de Gemini pour fournir des réponses plus détaillées et contextualisées. C’est comme avoir quelqu’un qui ne se contente pas de voir ce que vous voyez, mais peut aussi l’expliquer.
Évidemment, la question se pose : n’est-ce pas fondamentalement la même chose que Circle to Search ? En partie, oui, mais c’est directement intégré dans Gemini au lieu d’être une fonction distincte. La différence réside dans la possibilité de maintenir une conversation sur ce que vous avez sélectionné, de poser des questions de suivi ou de demander des clarifications sur des points spécifiques.
Google a déjà perfectionné Circle to Search de manière continue, bien que les changements récents soient davantage cosmétiques. Cette fonction est largement considérée comme l’une des plus utiles sur Android, et beaucoup l’utilisent pour découvrir de la musique de manière pratique.
Ils expérimentent également des applications plus spécifiques, comme aider à résoudre des niveaux de jeux vidéo grâce à l’analyse de captures d’écran. Il est donc clair que Google voit un potentiel dans ce type de fonctionnalités.
Le souci, c’est que nous allons avoir deux fonctions qui accomplissent des tâches très similaires mais avec des noms différents. Ce n’est pas catastrophique, mais cela pourrait prêter à confusion pour les utilisateurs ne sachant pas quelle option utiliser à quel moment.
Comme c’est souvent le cas avec les fonctionnalités découvertes dans des déconstructs d’APK, il n’y a aucune garantie que « Dime sobre esto » soit rendu public. Google pourrait décider d’intégrer ces capacités dans Circle to Search, de modifier complètement son approche ou tout simplement d’abandonner l’idée si le résultat ne correspond pas à leurs attentes.
Pour le moment, la seule chose que nous pouvons faire est d’attendre de voir si Google choisit de rendre cette fonction officielle ou si elle restera un projet en interne. Ce qui est certain, c’est que la concurrence avec ChatGPT et d’autres assistants pousse Google à améliorer les capacités visuelles de Gemini, donc quelque chose de positif devrait en résulter.