L’intelligence visuelle sur iPhone : à la fois brillante et légèrement superflue

Apple lance iOS 18.1 : l'arrivée officielle de l'intelligence Apple

Les iPhones récents intègrent des capacités avancées d’intelligence visuelle, permettant d’interagir avec l’environnement grâce à des outils comme ChatGPT pour analyser des images ou des informations visibles. Ces fonctionnalités, bien qu’intéressantes, nécessitent une utilisation réfléchie pour éviter de possibles désinformations.

De nombreux modèles récents d’iPhone proposent des fonctionnalités d’intelligence visuelle, intégrant l’intelligence artificielle directement dans votre caméra. Vous pouvez ainsi utiliser ChatGPT via cette technologie pour analyser votre environnement ou obtenir des images similaires grâce à la recherche d’images Google.

Quelles sont les fonctionnalités de l’intelligence visuelle sur iPhone ?

Selon Apple, l’intelligence visuelle permet de rechercher des informations sur des entreprises ou sur des animaux et des plantes, de créer des événements à partir de données sur des affiches, et d’interagir avec des textes. Vous avez également la possibilité de poser des questions à ChatGPT sur ce que voit votre caméra, et Google peut vous montrer des images similaires.

Bien que rien de tout cela ne soit vraiment nouveau, il est très pratique d’avoir toutes ces fonctions regroupées à un seul endroit, et accessibles par un bouton physique.

Imaginez-vous explorer une ville inconnue. L’intelligence visuelle joue le rôle de guide et d’assistant personnel, vous fournissant des horaires d’ouvertures et des informations sur des bâtiments, affichant le menu et le lien de réservation d’un restaurant agréable sur votre chemin, et ajoutant directement dans votre calendrier un concert découvert par hasard sur une affiche !

Dans la vie quotidienne, l’intelligence visuelle peut également vous être utile. Vous n’avez pas vos lunettes ? L’iPhone peut vous lire et résumer n’importe quel texte ou même le traduire.

Elle peut vous aider à comprendre pourquoi votre plante perd ses feuilles, quel insecte construit un nid sur votre balcon ou si un câble correspond à l’utilisation prévue.

En résumé, vous pouvez offrir la vue à ChatGPT grâce à l’intelligence visuelle, ouvrant ainsi d’innombrables possibilités, même si Apple a seulement nommé quelques fonctionnalités spécifiques.

Assistant quotidien ChatGPT
Assistant quotidien ChatGPT
ChatGPT a toujours une réponse
ChatGPT a toujours une réponse

Comment démarrer Visual Intelligence ?

Si vous possédez un iPhone doté du contrôle de la caméra (iPhone 16, iPhone 16 Plus, iPhone 16 Pro et iPhone 16 Pro Max), maintenez le bouton de contrôle de la caméra enfoncé pour activer l’intelligence visuelle. Vous pouvez également l’utiliser sur un iPhone 16e, un iPhone 15 Pro et un iPhone 15 Pro Max avec le dernier iOS. Pour ces modèles, vous pouvez attribuer le bouton d’action à l’intelligence visuelle, l’ajouter à votre écran de verrouillage ou le sélectionner depuis le centre de contrôle.

Si vous n’utilisez pas encore le bouton d’action, c’est une bonne opportunité de l’activer. Vous pouvez le faire en accédant à l’application Réglages, en sélectionnant « Bouton d’action » puis en choisissant l’option intelligence visuelle.

Configurer le bouton d'action avec l'intelligence visuelle
Configurer le bouton d’action avec l’intelligence visuelle

Test de l’intelligence visuelle au quotidien

La recherche d’informations sur des entreprises n’a pas fonctionné lors du test, ce qui n’est pas surprenant, puisque Apple propose cette fonction uniquement aux États-Unis. Il n’est pas encore possible de consulter un menu ou de faire une réservation ici.

Cependant, il est possible de lire des informations sur des affiches et des flyers avec la fonction d’ajout au calendrier. Malheureusement, cela n’a fonctionné qu’une fois sur deux, bien que l fonctions soient très utiles pour transférer des dates de documents imprimés dans votre calendrier.

Le concert s'affiche à 21h30, mais commence à minuit.
Le concert s’affiche à 21h30, mais commence à minuit.
Reconnaissance de rendez-vous
Ici, l’intelligence visuelle reconnaît toutes les données correctement, bien qu’il y en ait deux.

Quant à l’identification des animaux et des plantes, elle devrait fonctionner automatiquement lorsque vous dirigez la caméra en mode d’intelligence visuelle vers un animal ou une plante. Il n’est pas nécessaire de lancer une recherche d’images ou d’interroger ChatGPT, c’est censé apparaître directement à l’écran. Cependant, cela n’a pas fonctionné pour moi. La recherche d’images Google ou ChatGPT a pu aider à la place.

Monstera
Aucune information sur la plante de l’intelligence visuelle directement.
ChatGPT plante docteur
Le docteur des plantes, ChatGPT, a des conseils.

Le travail avec des textes s’est très bien passé. Tant le résumé que la lecture se passent rapidement et de manière fiable. La qualité de la traduction pourrait être améliorée, même si elle fonctionne globalement. L’intelligence visuelle est donc une vraie aide pour les personnes ayant des déficiences visuelles ou des difficultés de lecture.

Traduction avec Visual Intelligence
Si le texte n’est pas en français, l’option de traduction apparaît.
Résumé du texte avec Visual Intelligence
Le résumé fonctionne.

La véritable force de l’intelligence visuelle réside dans son intégration avec ChatGPT, offrant des possibilités pratiquement illimitées. Demander des précisions à ChatGPT sur votre environnement est beaucoup plus rapide que de devoir tout décrire de manière classique.

Utiliser l’intelligence visuelle comme guide touristique

En tant que guide, l’iPhone avec l’intelligence visuelle et ChatGPT a parfois brillé, mais parfois déçu. Peut-être que les attentes étaient trop élevées, car Apple n’a jamais promis un guide touristique.

Pourtant, ChatGPT a parfois fourni d’excellentes informations concernant les sites d’intérêt ou même la navigation. Parfois, cette navigation était impressionnante, mais parfois, ChatGPT ne savait même pas dans quelle ville je me trouvais.

Est-ce que ChatGPT sait où je me trouve ?
Est-ce que ChatGPT sait où je me trouve ?
ChatGPT montre le chemin
Je suis impressionné !

Lorsque vous êtes devant un bâtiment important, ChatGPT est souvent capable de le reconnaître et de vous fournir les informations souhaitées. Identifier un bâtiment éloigné parmi d’autres n’a pas fonctionné lors des tests.

Avec l'intelligence visuelle, vous pouvez interroger ChatGPT sur l'environnement.
Avec l’intelligence visuelle, vous pouvez interroger ChatGPT sur l’environnement.

Voici pourquoi je l’ai qualifié d’en partie inutile. Les intelligences artificielles comme ChatGPT répondent toujours, même lorsque ces réponses ne correspondent pas à la réalité. Un guide humain vous dirait qu’il ne sait pas ce qu’il y a dans ce bâtiment demande. ChatGPT, en revanche, vous fournira une réponse incorrecte sans indiquer qu’elle est conjecturale. Vous risquez donc de repartir avec une quantité de désinformations.

Ce problème ne se limite pas aux visites guidées, mais s’étend à toutes les informations que vous obtenez par le biais de ChatGPT ou d’une IA similaire. Vous obtiendrez la réponse demandée, mais pas d’indication sur sa véracité. Cela peut sembler anodin si une œuvre d’art est attribuée au mauvais artiste, mais cela peut devenir dangereux si vous vous fiez à des informations concernant des technologies critiques ou des médicaments.

ChatGPT reconnaît l'objet
ChatGPT sait de quoi il s’agit.
Ne faites pas confiance à ChatGPT pour des choses importantes
Ne faites pas confiance à ChatGPT pour des choses importantes.

Au final

L’intelligence visuelle a un potentiel énorme pour simplifier votre quotidien, que ce soit pour une recherche d’informations rapides ou des fonctions de reconnaissance et de manipulation de texte. Imaginez si tout cela était intégré dans des lunettes plutôt que dans un iPhone, une vision très proche des nombreuses visions de science-fiction.

Cependant, le problème fondamental des intelligences artificielles – la diffusion non évidente de désinformations – implique la prudence à adopter vis-à-vis de ces technologies. Malgré cela, un grand avenir s’annonce pour l’intelligence visuelle, promettant un gain de temps significatif et facilitant la vie des personnes ayant des limitations. Avec un esprit critique face aux réponses de ChatGPT, il est déjà possible d’utiliser votre iPhone et d’intelligence visuelle pour rendre votre quotidien plus simple.