« Gemini » est le ChatGPT de Google – mais Gemini peut faire beaucoup plus qu’une simple conversation. Google a créé tellement d’outils d’IA que nous avons besoin d’une vue d’ensemble. Lors de la conférence des développeurs I/O 2024, Google a présenté quelques assistants impressionnants alimentés par l’intelligence artificielle qui peuvent rendre votre vie plus facile. Nous vous montrons lesquels, ce qu’ils peuvent faire, et quand et comment les utiliser.
Dans cet article:
Ask Photos
Les utilisateurs peuvent désormais rechercher leurs collections de photos personnelles dans l’application Google Photos en utilisant la voix ou le texte.
Gemini analyse le contenu des images et rassemble les moments pertinents de la collection d’images en posant des questions naturelles telles que « Quand ma fille a-t-elle appris à nager ? » ou « Montre-moi comment ses compétences en natation ont évolué ».
Ask Photos reconnaît différents contextes tels que la première fois où l’enfant a nagé dans une piscine, la plongée en apnée dans la mer ou même les badges avec des textes et des données sur les succès en natation. Google prévoit de lancer Ask Photos cet été 2024 pour les abonnés anglophones de Google One.
Recherche Google assistée par l’IA : Aperçus AI
Il n’est pas surprenant de voir l’IA faire son entrée dans la recherche classique de Google.
À partir de cette semaine, Google introduit aux États-Unis les « Aperçus AI » pour les utilisateurs. Ces résumés générés par l’IA répondent de manière détaillée aux requêtes complexes directement en haut des résultats de recherche, au lieu de tourner autour du pot pendant longtemps.
Par exemple, une recherche d’un studio de yoga donnerait non seulement les adresses des studios, mais aussi les temps de trajet, les offres actuelles ainsi que des extraits de carte. Google déploiera cette fonctionnalité dans les mois à venir dans d’autres pays, mais n’a pas encore donné plus de détails.
Gemini sera intégré à Android
Une des plus grandes annonces de l’I/O : Google intègre sa propre IA Gemini profondément dans le système d’exploitation Android, remplaçant ainsi directement l’Assistant Google sur les smartphones.
Google va bientôt introduire Gemini Nano sur les premiers appareils, permettant ainsi le traitement local complet du texte, des images, de l’audio et de la voix sur l’appareil sans connexion cloud.
Google prévoit également de nombreuses autres fonctionnalités d’IA telles que la possibilité de tracer des cercles autour d’éléments à l’écran pour obtenir des informations ou des définitions supplémentaires – Circle to Search. Gemini permettra également la génération et l’intégration d’images, de textes ou d’informations dans des applications ouvertes telles que Gmail ou Google Messages. Même des données complexes comme des PDF ou des vidéos YouTube peuvent être soumises à l’IA pour obtenir des résumés ou des explications. Circle to Search n’est pas nouveau, mais n’était jusqu’à présent disponible que sur des appareils individuels.
Conversations Live Gemini
Google prévoit d’introduire cette année pour les abonnés du service « Gemini Advanced » le mode « Gemini Live » pour les conversations naturelles avec l’IA. Vous devriez par exemple pouvoir compléter des préparations virtuelles à un entretien d’embauche, où Gemini posera des questions pertinentes à l’utilisateur et répondra aux réponses. Une caractéristique spéciale de Live est que les utilisateurs peuvent parler librement et interrompre l’assistant IA à tout moment – de manière similaire à une conversation naturelle entre deux personnes.
Lors d’une démonstration, Google a montré comment un utilisateur, en filmant un tourne-disque et en posant la question « Comment l’utiliser ? », reçoit directement un guide pour le modèle d’appareil montré. Dans la vidéo de démonstration, Astra pouvait identifier des objets dans l’environnement, expliquer leur but et répondre à des questions telles que « Te souviens-tu où était mes lunettes ? » à partir du contexte :
Génération d’IA de vidéos, musique et images
Dans le domaine créatif, Google a présenté plusieurs nouveaux outils qui s’appuient sur la plateforme Gemini pour des applications d’IA génératives.
Ainsi, « Veo » devrait offrir la capacité de générer des clips vidéo entiers simplement en saisissant du texte – similaire au logiciel Sora annoncé par OpenAI début 2024. Le « Music AI Sandbox » est une collection d’outils d’IA pour composer de la musique. Et avec « Imagen 3 », Google se lance dans un nouveau générateur d’images qui devrait avoir des forces particulières dans la représentation et la création de textes dans les scènes.
Recherche vidéo avec Lens
Avec Google Lens, vous pouvez déjà demander à Google ce qui se trouve sur votre photo. Cela sera complété par une fonction de « recherche vidéo ». Vous pourrez ainsi, à l’avenir, utiliser des clips vidéo de la caméra de votre smartphone. Lors d’une démonstration, Google a montré comment un utilisateur, en filmant un tourne-disque et en posant la question « Comment l’utiliser ? », était dirigé directement vers un guide pour le modèle d’appareil montré.
Gems : Créer des assistants IA personnels
Google souhaite permettre aux utilisateurs de créer leurs propres formes d’application de l’IA Gemini, en fonction de leurs intérêts et besoins personnels, et de les entraîner – similaire à ce que nous connaissons déjà des Custom GPT de Chat GPT.
Google a donné comme exemples un « buddy d’entraînement » personnalisé pour un coaching d’entraînement efficace, un « partenaire de codage » pour aider dans les projets de programmation ou un « sous-chef » avec des instructions de cuisine et des recettes. Les Gems devraient être bien plus adaptées aux préférences et tâches individuelles de l’utilisateur que ne le serait un modèle de chatbot générique.
Application Gemini pour Android avec Project Astra
Gemini recevra sa propre application smartphone regroupant toutes les fonctionnalités de la plateforme IA. Les utilisateurs pourront accéder à Gemini via des saisies de texte, de la voix ou en filmant leur environnement avec la caméra. Les capacités d’analyse vidéo en temps réel de Project Astra seront également intégrées à l’application selon Google :
Un autre ajout est le Circle to Search mentionné ci-dessus, qui vous permet de tracer des cercles autour d’objets sur l’écran de votre smartphone pour obtenir des informations supplémentaires de l’IA. Google prévoit de déployer l’application Gemini dans un premier temps dans 150 pays en dehors de l’Europe, nécessitant un abonnement « Gemini Advanced ».
Au final
La plateforme IA Gemini est la réponse de Google à la tendance de la « Génération d’IA » et à l’essor des grands modèles de langage tels que ChatGPT. De la recherche Web à Android en passant par les services cloud pour les développeurs – Google souhaite exploiter les capacités de cette technologie dans presque tous les domaines de produit.
Alors que certains services, comme la recherche d’IA, sont déjà déployés pour les utilisateurs finaux normaux (principalement aux États-Unis) dès maintenant, la plupart des fonctionnalités nécessiteront 12 à 18 mois d’attente pour être disponibles dans l’UE. Ce n’est qu’à ce moment-là que la plupart des fonctionnalités Gemini annoncées seront également disponibles pour nous, simples mortels.