Google transforme Gemini Live en véritable assistant visuel. Depuis le 1er octobre 2026, la nouvelle fonction Guided Vision permet à Gemini de décrire oralement ce que voit la caméra d’un smartphone Android, de lire de petits textes, de rechercher un objet et même d’indiquer à l’utilisateur comment déplacer son téléphone pour mieux cadrer la scène. La fonction a été conçue en priorité pour les personnes aveugles ou malvoyantes.
Dernière mise à jour : 3 octobre 2026.
Ce qu’il faut retenir
- Google lance officiellement Guided Vision dans Gemini Live.
- Gemini peut décrire en temps réel ce que voit la caméra.
- L’IA peut demander de déplacer ou d’incliner le smartphone pour obtenir une meilleure vue.
- Elle peut lire de petits caractères, identifier des objets ou décrire une pièce.
- Guided Vision fonctionne à partir d’Android 9 sur les appareils compatibles.
- La fonction est disponible dans les régions et langues prises en charge par Gemini Live.
Gemini Live devient un assistant visuel en temps réel
Google vient de lancer une nouvelle fonction importante pour Gemini Live.
Baptisée Guided Vision, elle permet de partager la caméra du smartphone avec Gemini afin que l’intelligence artificielle analyse oralement l’environnement.
L’utilisateur peut ensuite dialoguer naturellement avec Gemini et poser des questions sur ce que la caméra est en train de filmer.
Gemini peut même vous dire comment cadrer la caméra
La grande différence avec une simple reconnaissance d’image vient de l’interaction en temps réel.
Si Gemini ne voit pas correctement l’objet demandé, l’assistant peut fournir des indications vocales pour améliorer le cadrage.
Il peut par exemple demander de :
- déplacer lentement la caméra vers la droite ;
- incliner le smartphone vers le bas ;
- reculer légèrement ;
- rapprocher ou recentrer un objet.
Une fois l’image suffisamment claire, Gemini peut poursuivre son analyse.
Lire une étiquette ou retrouver un objet
Google donne plusieurs exemples d’utilisation.
Guided Vision peut notamment servir à lire les petits caractères présents sur un emballage alimentaire, reconnaître les positions d’un bouton sur un appareil électroménager ou lire un menu lorsque la luminosité est mauvaise.
L’IA peut également aider à retrouver un objet.
Google donne par exemple le cas d’un écouteur tombé au sol ou d’un condiment à retrouver dans un placard rempli.
Gemini peut aussi décrire des vêtements ou une pièce
Guided Vision est capable d’identifier des couleurs, des formes et des motifs.
Un utilisateur peut donc demander à Gemini de décrire un vêtement ou de lui indiquer si deux éléments possèdent des couleurs compatibles.
L’assistant peut également fournir une description générale d’un espace inconnu ou des objets posés sur une table.
Une fonction développée avec des personnes aveugles et malvoyantes
Google précise que Guided Vision a été développé en collaboration avec la communauté concernée et avec Aira, un service spécialisé dans l’assistance visuelle.
Plus de 1 000 membres du réseau de testeurs d’Aira auraient participé aux essais de la fonction.
Google indique également avoir travaillé sur plusieurs dizaines de milliers d’heures de données d’interprétation visuelle afin d’améliorer le fonctionnement du système.
Comment activer Guided Vision ?
Sur un smartphone compatible, la fonction peut être activée depuis les réglages de l’application Gemini.
Ouvrez votre profil puis activez Use Guided Vision in Live.
Il suffit ensuite d’ouvrir Gemini Live et de partager la caméra.
Google prévoit également plusieurs raccourcis d’accessibilité, dont un bouton flottant, une combinaison avec les touches de volume et une intégration à TalkBack.
Quels smartphones sont compatibles ?
Google indique que Guided Vision est disponible sur les appareils compatibles fonctionnant sous Android 9 ou une version ultérieure.
Le déploiement concerne les régions et les langues dans lesquelles Gemini Live est déjà proposé.
Il peut donc exister des différences de disponibilité selon le pays, la langue et l’appareil utilisé.
Google prévient que Gemini peut se tromper
Guided Vision repose toujours sur une intelligence artificielle générative.
Google rappelle donc que ses descriptions peuvent contenir des erreurs.
La société précise surtout que la fonction ne doit pas être utilisée comme système de navigation, outil de détection d’obstacles ou remplacement d’une canne blanche ou d’une autre aide à la mobilité.
Guided Vision est destiné à fournir une assistance visuelle complémentaire, et non à garantir la sécurité des déplacements.
Gemini Live gagne une fonction particulièrement concrète
La nouveauté illustre une autre évolution de l’intelligence artificielle : les assistants ne se limitent plus à une fenêtre de discussion.
Avec Guided Vision, Gemini combine désormais la caméra, la voix et une conversation en temps réel pour interpréter directement l’environnement de l’utilisateur.
Google vise en premier lieu l’accessibilité, mais la fonction pourrait également être utile à toute personne souhaitant identifier rapidement un objet ou lire un texte difficilement visible.
Sources
- Google — présentation officielle de Guided Vision
- Android Authority — lancement de Guided Vision dans Gemini Live
- The Verge — Guided Vision et assistance visuelle de Gemini
