Microsoft teste une nouvelle fonctionnalité sur Copilot, désormais disponible sur PC. Baptisée Copilot Vision, elle permet à l’application de voir votre écran pour fournir un retour en temps réel. Cette approche soulève des questions sur la confidentialité, mais promet une assistance améliorée et intuitive.
Microsoft teste une nouvelle fonctionnalité sur Copilot, et cette fois, elle arrive sur PC. Copilot Vision, récemment lancée sur mobile, est désormais en phase de test sur PC, et ses capacités sont impressionnantes tout en suscitant quelques inquiétudes. Microsoft renforce également la recherche de fichiers avec l’intelligence artificielle.
Copilot Vision permettra à l’application de voir tout ce qui se trouve sur votre écran — si vous le souhaitez. Vous pourrez partager des fenêtres de navigateur, votre bureau entier, ou même un jeu afin d’obtenir des retours en temps réel de Copilot. Lors du lancement, vous choisirez quelle fenêtre de navigateur ou application vous voulez partager avec Copilot, et par la suite, vous pourrez lui parler comme vous le feriez à un agent de support technique. Vous aurez la possibilité d’arrêter le partage à tout moment.
Microsoft a partagé une capture d’écran de la fonctionnalité, montrant un fichier Word partagé avec l’application. Vous pourrez échanger avec Copilot Vision par la voix ou par texte, et l’application est censée vous guider tout au long du processus de ce que vous essayez d’accomplir.
The Verge a présenté une démonstration de Copilot Vision, rendue accessible pour les tests lors de la fête du 50e anniversaire de Microsoft. On pouvait voir Copilot répondre à des questions pendant une partie de Minecraft, en offrant des conseils sur l’utilisation de certains objets. Il a aussi assisté l’utilisateur lors du montage vidéo sur Clipchamp, en mettant en évidence un élément à l’écran. Cette dernière fonctionnalité, la mise en évidence, ne sera pas disponible dans cette version bêta, mais sera intégrée ultérieurement.
Microsoft améliore également la recherche de fichiers dans Windows. L’application Copilot pourra prochainement vous aider à trouver des fichiers sur votre PC. Vous pourrez poser des questions telles que « Peux-tu trouver mon CV ? », et Copilot saura quoi chercher. Heureusement, vous pourrez ajuster les autorisations pour définir ce que Copilot est autorisé à voir ou non.
Selon l’annonce sur le blog de Microsoft Windows, ces fonctionnalités sont déployées aux Windows Insiders aux États-Unis. Cela signifie que nous ne pourrons pas tous les essayer, et il pourrait falloir un certain temps avant que Copilot Vision soit accessible à un public plus large.