Découvrez le potentiel révolutionnaire de Gemini Live, la nouvelle fonctionnalité de Google alimentée par Astra. Avec des options de partage d’écran et de commande de caméra, cette technologie promet de transformer votre expérience mobile sur les modèles comme le Pixel 9 Pro et certains Galaxy S25.

La caméra orientée vers le monde que nous attendions

Google a progressivement déployé les fonctions vidéo Astra de Gemini Live, mais l’expansion commence à se faire sentir. Voici ce que vous devez savoir à propos de son utilisation.

Fonctionnalités de la caméra Gemini Live Astra

L’arrivée de cette caméra et des commandes de partage d’écran est intégrée dans un ensemble de fonctionnalités non planifiées, ce qui paraît quelque peu inhabituel, car cette fonction peut fonctionner sur pratiquement n’importe quel téléphone Android.

Lorsque vous lancez l’application Gemini sur votre téléphone Android, un pop-up apparaît pour indiquer que les fonctions visuelles de Gemini Live sont prêtes à être testées. Ce mini pop-up mentionne que vous pouvez “discuter d’idées, apprendre sur votre environnement” ou “obtenir de l’aide sur ce qui se trouve sur votre écran.” Ce dernier point fait référence à la fonction de partage d’écran, qui est semblable à une version améliorée de "Circle to Search".

Accès à Gemini Live Astra

Pour accéder aux nouveaux modes visuels, il est nécessaire de souscrire à un plan d’abonnement Google One AI Advanced. Si vous possédez un modèle Pixel 9 Pro, Pro XL, Pro Fold ou certains modèles Galaxy S25, vous avez probablement reçu un essai gratuit substantiel de ce niveau payant. L’essai est de 12 mois pour les modèles Pixel 9 Pro et de 6 mois pour les appareils S25.

Google a fourni plusieurs moyens pour accéder aux nouveaux contrôles. Le moyen le plus simple est via l’application dédiée Gemini. Lorsque vous lancez Gemini Live, l’interface utilisateur habituelle de style appel dispose de quelques boutons supplémentaires, dont un bouton caméra et une icône de présentation.

Vous pouvez utiliser votre voix avec le mot d’activation “Hey, Google.” Au-dessus de la barre compacte du pop-up Gemini, il y a un bouton cliquable “Partager l’écran avec Live” qui démarre le partage d’écran alimenté par l’IA. Actuellement, vous ne pouvez pas sélectionner une seule application, il faut partager l’intégralité de l’écran, ce qui peut sembler intrusif pour certains utilisateurs. Une puce de barre d’état indique que cette fonction est active, et appuyer dessus permet de fermer ou de terminer rapidement votre session.

Expérience d’utilisation

Le démarrage initial et l’introduction sont très rapides, et la vue du viseur est facile à comprendre. Elle imite quelque peu l’interface de l’appareil photo du Pixel, ce qui la rend instantanément familière pour ceux ayant utilisé des téléphones Google. Vous n’êtes pas obligé d’utiliser la caméra arrière, il existe un bouton pour switcher vers la caméra selfie si vous souhaitez inclure votre visage ou votre environnement dans le cadre tout en posant des questions ou en demandant des conseils.

En utilisant le mode Gemini Live Astra, j’ai trouvé que le focus de la caméra est quelque peu capricieux, et le changement automatique des objectifs peut être gênant à proximité. Il est conseillé de rester immobile ou de garder le sujet aussi stable que possible. Cela dit, Gemini détecte rapidement ce qu’est un objet ou produit des informations sans trop de difficultés.

Ne pas pouvoir zoomer, même avec des objectifs téléphoto spécialisés sur votre téléphone, paraît limitatif. Pour indiquer quelque chose dans le monde qui vous entoure, vous devrez vous approcher de très près, ou espérer que Gemini puisse comprendre ce que vous pointez.

Pour les requêtes simples ou basiques, cela fonctionne parfaitement. Cependant, les meilleurs cas d’utilisation concernent des questions plus approfondies, comme des conseils ou des informations sur des objets, des lieux ou des zones plutôt que de poser des questions simples que vous pourriez probablement rechercher vous-même.

Un exemple pertinent serait d’obtenir des informations sur les calories sur des produits alimentaires ou des informations allergènes. J’ai également essayé certaines traductions en temps réel, bien qu’elles semblent assez précises, Gemini Live ne fournit pas de texte à l’écran, vous obtenez uniquement des indices audio et des réponses. Google Lens superpose le texte traduit, ce qui peut en faire une meilleure option pour traduire des panneaux ou d’autres textes.

Actuellement, vous devez attendre la fermeture d’une session avant de “voir” certaines des réponses textuelles. Vous obtenez donc un historique de chat avec ce qui a été dit, ce que Gemini a répondu et les actions que vous pouvez effectuer. Cela pourrait être mieux mis en œuvre, mais pour l’instant, ça reste acceptable. En association avec d’autres applications comme Google Maps et divers autres services, vous pourriez probablement utiliser cela comme outil d’apprentissage visuel ou option de tutoriel.

J’ai testé les fonctions vidéo de style Astra de Gemini Live sur le Pixel 9 Pro XL, et bien que cela ne soit pas toujours instantané, cela semblait assez fluide, et les réponses étaient presque toujours assez rapides pour donner une impression de fluidité.

Le partage d’écran ressent un peu moins “naturel” que l’utilisation d’une caméra. Étant donné que vous n’obtenez aucun retour visuel, uniquement des indications et informations audio, cela ne semble pas aussi intégré. Obtenir des résumés de pages web est à peu près le maximum de l’utilité de cette fonction, ou obtenir plus d’informations sans quitter une page ou un écran. On peut espérer que cela évolue avec plus d’intégrations. Pensez à la possibilité d’ajouter des éléments à des listes de courses avec des URL ou des informations de vol à votre calendrier lors de la planification de voyages. Actuellement, rien de cela n’est possible.

Précision et autres considérations

Comme presque toutes les plateformes d’IA, Gemini n’est pas un système parfait. En fait, il peut se tromper dans de nombreux scénarios. Là où il excelle, c’est dans le rappel d’informations.

J’ai trouvé que certains éléments posaient des problèmes où Gemini n’était pas capable de me donner des informations précises. Cela fonctionne bien pour les éléments que vous connaissez, car vous pouvez interrompre efficacement et corriger l’IA défaillante. Le problème, c’est que des hallucinations sur des choses que vous pourriez ne pas bien connaître peuvent engendrer des problèmes.

J’ai par exemple demandé des informations sur une cartouche de jeu Gameboy, et Gemini a mal identifié la cartouche et m’a donné des informations complètement fausses sur le titre et le gameplay. S’assurer d’avoir une vue claire de quelque chose dans le viseur aide à atténuer cela. Il me suffisait d’ajuster l’angle de “filmer” pour résoudre instantanément le problème sans intervention. Vous ne pouvez tout simplement pas faire confiance à l’information sans réserve à ce stade. Gemini est encore en proie à des erreurs, qui vont d’éléments mineurs à majeurs de manière égale.

Une caméra orientée vers le monde avec des réserves

La plateforme Android XR ainsi que l’AR reposent fortement sur Gemini pour interagir et obtenir des informations sur notre environnement. Gemini Live utilisant les fonctions d’Astra est le premier pas vers la réalisation de cet objectif à long terme. Selon des démonstrations montrées l’année dernière, nous pourrions être à quelques années de lunettes AR fabriquées par Google, mais cette première introduction n’est pas une mauvaise façon de commencer.

Comme tout produit d’IA, il faut être prudent en plaçant 100 % de votre confiance dans les informations fournies. Cela dit, cela semble être un bon début et un moyen solide d’interagir avec le monde qui vous entoure ou de vous aider lorsque vous êtes bloqué. Cela s’améliorera avec le temps et deviendra meilleur à mesure que davantage de points de données seront introduits. En théorie, c’est le pire que les modes vidéo Gemini Live puissent être, ce qui n’est pas trop mauvais au départ.

Le partage de votre écran est très limité à ce stade. Bien que cela soit une sympathique option secondaire, elle est encore plus restreinte. Si elle peut évoluer pour bien fonctionner avec plus de vos autres services, cela deviendra un outil utile. Pour l’instant, c’est une simple fonction qui ne fait guère plus que le Gemini Live classique.

Mon avis :

Les nouvelles fonctionnalités de Gemini Live de Google, alimentées par l’IA Astra, offrent un potentiel considérable pour l’interaction en temps réel avec l’environnement, bien que leur efficacité soit limitée par des imprécisions et un manque de zoom. Les utilisateurs doivent être vigilants quant à l’exactitude des informations fournies, rendant l’outil idéal pour des questions complexes mais moins fiable pour des requêtes simples.

Les questions fréquentes

Quels sont les nouveaux modes visuels de Gemini Live ?

Google a commencé à déployer lentement les fonctions vidéo d’Astra de Gemini Live, qui permettent le partage d’écran et l’utilisation de la caméra. Ces fonctions sont accessibles via l’application Gemini et permettent de discuter d’idées, d’apprendre sur son environnement, ou d’obtenir de l’aide sur ce qui est affiché à l’écran.

Comment accéder aux fonctionnalités de Gemini Live Astra ?

Pour accéder aux nouveaux modes visuels, vous devez avoir un abonnement Google One AI Advanced. Si vous possédez un Pixel 9 Pro, Pro XL, Pro Fold ou certains modèles de Galaxy S25, vous bénéficierez d’un essai gratuit de 12 mois sur les modèles Pixel 9 Pro et de 6 mois pour les appareils S25.

Quelle est l’expérience utilisateur avec Gemini Live Astra ?

L’interface de Gemini Live Astra est rapide et familière, imitant celle de l’appareil photo Pixel. Cependant, le mode caméra peut être délicat avec des problèmes de mise au point, et l’absence de zoom nécessite de se rapprocher des objets. Bien que la fonction de partage d’écran soit utile, elle manque d’intégration et d’interactivité, ne fournissant que des informations audio sans retour visuel.

Quelle est la précision des informations fournies par Gemini Live ?

Gemini n’est pas un système parfait et peut donner des informations incorrectes dans certains scénarios. Bien qu’il réussisse bien à rappeler des informations, il est important de vérifier les réponses, car il peut y avoir des hallucinations sur des sujets moins connus. La clarté de l’image dans le viseur peut aider à atténuer ces erreurs, mais il est conseillé de ne pas faire confiance aveuglément à ce que l’IA fournit pour l’instant.