Ce que Google voit dans une image

Prenons deux requêtes sur Google Shopping US : « dresses » et « bathroom sinks ». Dans la colonne des filtres, les robes se filtrent par « Sleeve Style » (Long Sleeve, Half Sleeve), « Silhouette », « Formal Occasion » ; les lavabos par « Installation » (Undermount, Self-rimming, Wall-mount) et « Style » (Vessel, Pedestal, Console). Les valeurs de ces filtres se retrouvent dans les /a/ que Google pose sur les photos (Long sleeve, Undermount sink, For prom), et « Sleeve Style » est aussi un /j/. Le /j/ joue le rôle du filtre, le /a/ celui de la case cochée.

À gauche, les filtres de Google Shopping (États-Unis) ; à droite, les labels correspondants que Google attache aux photos

Requête « dresses »

• 
  Sleeve style/j/6y5h45style de mancheLong sleeve/a/dr73ssmanche longueHalf sleeve/a/4x501ndemi-manche
• 
  For prom/a/bckrxlpour le bal de fin d’annéeFor homecoming/a/g6jk9wpour le bal de rentrée
• 
  Asymmetrical/a/42lnhnasymétrique

Requête « bathroom sinks »

• 
  Sink type/j/4fs9rdtype de lavaboUndermount sink/a/8y6cckvasque sous planSelf rimming sink/a/8dv91hvasque à encastrer par le dessusWall mount/a/g6jflsfixation murale
• 
  Vessel sink/a/znv7b6vasque à poser

Jusqu’au printemps 2026, chaque image générée par Gemini était accompagnée de 100 labels. Ces labels ne sont désormais plus visibles. Les conversations partagées à cette époque les gardent : les 67 499 images que nous avons étudiées viennent des conversations publiques de notre étude sur Gemini. Voici quinze conversations publiques, chacune avec son lien : choisissez une image, filtrez les labels par vocabulaire, placez le seuil sur 0,5 pour voir ce que l’API Vision garderait.

fetch('/_/BardChatUi/data/batchexecute?rpcids=ujx1Bf', {
  method: 'POST',
  headers: {'Content-Type': 'application/x-www-form-urlencoded;charset=UTF-8',
            'X-Same-Domain': '1'},
  body: 'f.req=' + encodeURIComponent(JSON.stringify([[['ujx1Bf',
    JSON.stringify([null, location.pathname.split('/').pop(), [4]]), null, 'generic']]]))
}).then(r => r.text()).then(t => console.log([...new Set(
  t.replaceAll('\\"', '"').match(/\["[^"]+","\/[a-z]\/\w+",[\d.]+\]/g))].join('\n')))

L’API Vision, le service d’analyse d’images que Google vend aux développeurs, emploie les mêmes /j/ que les images de Gemini : Table top, Bagged packaged goods, Playing in the snow. Chacune de ces douze photos libres de Wikimedia Commons en reçoit au moins un (en orange), sur une zone découpée de la photo ou sur l’image entière.

Googlebot-Image récupère l’image, Amarna, le système d’images de Google Search, réunit tout ce que les modèles y voient, puis Google la rattache à quelques pages et la répartit dans les cases que lisent les filtres de Google Images. Par rapport au leak de 2024, le code de Google auquel nous avons eu accès ajoute à ce que l’index garde d’une image tout ce qui touche à l’IA et à la sécurité : une légende rédigée par Google, ses entités, la provenance C2PA (les « Content Credentials » qui certifient l’origine d’une image), le refus de Google-Extended (le user-agent du robots.txt qui écarte un contenu de l’entraînement de Gemini et du grounding), un contrôle de protection de l’enfance. S’y ajoutent le cadre du sujet principal et l’image source parmi les copies.

1. 1

   Googlebot-Image récupère toutes les images

   « Toutes les images sont crawlées par googlebot-images », écrit le leak. Google suit le crawl de toutes les copies d’une image comme un seul ensemble, avec la raison de chaque échec. Les règles robots.txt adressées à Googlebot-Image valent pour Google Images, Discover et toutes les fonctions de Google Search qui montrent des images.

   ImageData.robotedAgentsrobots exclus par robots.txtImageMoosedogCrawlStateétat du crawl, par groupe de copies

2. 2

   Amarna réunit tout ce que les modèles voient dans l’image

   Amarna, le système qui stocke et analyse les images et les vidéos de Google Search, garde pour chaque image ses labels, ses visages, ses produits, le texte qu’y lisent en parallèle trois moteurs de reconnaissance de caractères (OCR), ses notes de qualité et de SafeSearch, son embedding, l’empreinte qui repère ses near duplicates et la probabilité qu’elle ait été générée par IA. Le texte lu sur un emballage sert aussi à relier la photo à la bonne fiche produit de Shopping.

   OcrSummarytexte lu sur l’imageIm2ShopOCRFeaturetexte d’emballage relié à Shopping

3. 3

   Google rédige une légende et liste les entités

   Chaque image indexée reçoit une légende écrite par un modèle, avec son degré de confiance, et la liste des entités du Knowledge Graph reconnues, chacune avec son score. Le sujet principal est encadré, avec un cadre à part pour le visage et ses propres entités. Chaque label reçoit deux mesures de topicality et une note de ce qu’il révèle de l’image ; une partie des labels vient d’images visuellement proches.

   packed_multiref_captionlégende rédigée par Googlepacked_multiref_entitiesentités reconnuescutoutcadre du sujet principalinformativeness_scorece que le label révèle de l’image

4. 4

   Les copies sont groupées, classées et datées

   Toutes les copies d’une image forment un groupe classé, où le rang 1 est la meilleure. Google garde pour tout le groupe la date du premier crawl et l’adresse de l’image source : publier l’original d’abord chez soi, c’est en être la source. Les cent sites qui reprennent une même photo de stock se disputent une seule place.

   rankInNeardupClusterrang dans le groupe de copiescontentFirstCrawlTimepremier crawl du contenuimage_neardup_sourceimage source parmi les copies

5. 5

   Google rattache l’image à un nombre fixe de pages ; sur les autres, elle est « rejetée »

   Pour chaque image, Google retient un nombre fixe de pages référentes ; sur les autres pages qui l’affichent, l’image est dite « rejetée ». Il note si l’image est affichée dans la page ou seulement liée, garde le texte placé à côté, qui sert à faire défiler la page jusqu’à l’image quand le visiteur arrive de Google Images, et reconnaît un domaine d’images associé au site, un CDN ou un sous-domaine, quand le lien se vérifie dans la durée.

   referrerDocidpage référenteisVisibleaffichée ou seulement liéenearbyTexttexte voisincodomainStrengthlien avec un domaine d’images associé

6. 6

   Le refus de Google-Extended reste attaché à l’image

   Google-Extended est le user-agent du robots.txt qui règle l’usage d’un contenu pour entraîner les modèles Gemini et pour le grounding. Pour chaque image, Google garde ce refus et son origine : le robots.txt, ou la page qui affiche l’image. Il y ajoute un statut de conformité au corpus commun où Google réunit les contenus que ses modèles d’IA peuvent utiliser, contrôlé à partir de ces mêmes pages. L’indexation dans Google Images reste du ressort de Googlebot-Image.

   robots_policy_signalrefus de Google-Extendedeffective_google_extended_sourceorigine du refus : page ou robots.txtgcc_image_url_policy_signalsconformité au corpus commun

7. 7

   Mustang prépare l’image pour l’affichage et les filtres

   Mustang, le système qui répond aux requêtes à partir de l’index de Google Search, garde avec l’image ses visages et ses recadrages, prêts à l’affichage, et les « restricts » : les 86 cases que lisent les filtres de Google Images.

   PrecomputedRestrictsles cases des filtres

Prenons la requête « chaise scandinave ». Pour Google Images, la requête est aussi un vecteur : elle passe dans la partie texte de Starburst, le modèle d’embedding d’images de Google, qui la place dans le même espace que les images, où Google la compare directement à leurs vecteurs. Une chaise qui n’a pas l’allure scandinave s’éloigne de la requête dans cet espace, même avec un texte alt qui dit le contraire. Le contenu visuel, la qualité de l’image, sa place dans la page et les clics entrent chacun dans le classement.

Avant qu’une recherche arrive, Google a déjà classé chaque image dans des cases : couleur, type, visages, proportions, taille, format, licence, SafeSearch. Le leak de 2024 nomme ces « restricts », calculés avant la construction de l’index qui sert les résultats ; le code de Google que nous avons récupéré en donne la liste : 86 cases. Le filtre juge le fichier lui-même : ses dimensions réelles, son format, ses couleurs, sa licence déclarée.

Quand on lui soumet une photo, AI Mode s’appuie sur Google Lens, la recherche visuelle de Google, pour identifier chaque objet, puis lance des requêtes sur l’image entière et sur chacun de ses objets : c’est le fan-out appliqué à l’image, le « visual search fan-out », qui découpe une seule photo en dizaines de sous-requêtes. Nous vous expliquons ici comment AI Mode cherche et note les images de ses réponses.

« À propos de cette image » dit si une image a été créée ou retouchée avec l’IA, à partir de SynthID, le filigrane invisible que Google DeepMind inscrit dans les pixels au moment de la création, et des métadonnées C2PA (Coalition for Content Provenance and Authenticity), le standard des « Content Credentials ». Plus de 20 milliards de contenus sont marqués du filigrane SynthID (novembre 2025).

Une image se travaille comme une page : ce qu’elle montre, son fichier, la page qui l’affiche et les clics qu’elle reçoit comptent chacun à leur étape.

1. Montrer ce que la requête et les filtres demandent

   Google compare la requête au contenu visuel, avec Starburst, son modèle d’embedding d’images, et pamir, sa note de contenu visuel par requête ; avec Gemini Embedding 2, ouvert aux développeurs, vous mesurez cette proximité entre vos requêtes et vos images. Un packshot net, produit entier sur fond neutre ou transparent, donne sa classe d’emballage ; un rayon n’en donne aucune. Montrez en entier ce que le filtre demande : la longueur d’une robe, la manche, le bord d’une vasque. Une photo en situation ajoute l’occasion (mariage, déménagement, plage) sans prendre la place du sujet : Google la garde comme décor.

2. Publier l’original chez soi, en premier

   Google garde pour tout le groupe de copies d’une image la date du premier crawl et l’adresse de l’image source : publier l’original d’abord chez soi, c’est en être la source. Google repère aussi la photo de stock comme telle, et cent sites qui publient la même photo se disputent une seule place. Un marchand qui fournit ses fiches produits à des revendeurs par flux XML, ou un éditeur qui syndique ses contenus, a intérêt à laisser quelques minutes entre la mise en ligne sur son site et l’envoi aux autres : Google découvre alors les images chez lui en premier.

3. Afficher l’image dans la page, grande, près du texte qui en parle

   Google indexe les images des balises <img> et note si l’image est affichée dans la page ou seulement liée. La saillance et la pertinence estimée de l’image comptent jusque dans le classement web. Search Central conseille de placer l’image près du texte qui en parle ; Google garde ce texte avec l’image.

4. Faire dire la même chose à l’alt, à la légende de la page et à l’image

   Google rédige sa propre légende pour chaque image et y joint les entités qu’il reconnaît ; il croise l’alt, la vision par ordinateur et le texte de la page. Un alt qui décrit ce que montre l’image renforce cette lecture.

5. Servir un fichier qui répond aux critères des filtres

   Les filtres s’appuient sur le fichier lui-même : ses vraies dimensions, ses proportions, son format, sa transparence, sa licence. Servez l’original en grande taille et déclarez sa licence en données structurées ou en IPTC pour le filtre « Droits d’usage » et le badge « Licensable ».

6. Une vignette qui donne envie, sans racoler

   NavBoost, la mémoire des clics de Google Search, mesure l’attrait de la vignette requête par requête : survols et clics rapportés aux impressions. Une image qui attire des clics depuis des requêtes sans rapport est repérée comme « aimant à clics ». Un visuel lisible en petit format et fidèle à la requête gagne sur les deux tableaux.

7. Garder la provenance, régler Google-Extended sur l’hôte des images

   Pour vérifier l’origine d’une image, Google examine le fichier : un CDN qui retire les métadonnées efface le C2PA et l’IPTC, les données qui disent d’où vient l’image ; une image trop réduite fait s’abstenir SynthID, le filigrane de Google. Google garde pour chaque image le refus de Google-Extended, le user-agent du robots.txt qui écarte un contenu de l’entraînement de Gemini et du grounding, avec sa source : le robots.txt, ou la page qui affiche l’image. Un robots.txt vaut pour un seul hôte : pour qu’un CDN ou un sous-domaine d’images suive la règle du site, posez-la aussi dans leur robots.txt.

8. Restaurants et hôtels : nommer les plats, soigner la photo du lieu

   Un menu complet dans Google Business Profile donne leurs noms aux photos des clients, et les noms saisis par le commerçant priment sur ceux des clients. Pour la photo d’un lieu, Google préfère une image grande, en paysage, distincte des autres et fidèle au nom.