Ce que Google Lens juge achetable : 752 catégories classées

Quand on pointe la caméra avec Lens, un détecteur d’objets tourne sur le téléphone lui-même. Il connaît 703 types d’objets. Chacun correspond à une entité du Knowledge Graph, désignée par un code appelé MID : /m/01940j désigne par exemple le sac à dos (Backpack). Lens pose une pastille sur les objets retenus, et un appui dessus lance la recherche sur cet objet.

La table Lens classe ces 703 objets, plus 49 catégories générales (Product, Vehicle, Mammal…) que le détecteur ne renvoie jamais. Le début du fichier, tel qu’il figure dans l’app (« gleam » y désigne la pastille) :

# Lens Proactive Shopping use case annotation description:
#   ALLOWLIST: Class labels of mobile RAID which should trigger gleam on those objects.
#   NEUTRAL: Class labels of mobile RAID which should not trigger gleam on those objects.
#   DENYLIST: Class labels of mobile RAID which should not trigger any intent.
# class label mid id, class label display name, lens prime annotation
/m/0584n8,Briefcase,ALLOWLIST
/m/0c_jw,Furniture,ALLOWLIST
/m/0c06p,Candle,ALLOWLIST

9:41Google Lens

1

Fauteuil

2

Lampadaire

3

4

Fauteuil : résultats Shopping

Produits, marchands et prix choisis par le serveur

1 · Détection 2 · MID et score 3 · Verdict 4 · Pastille 5 · Serveur

1 Fauteuil Pastille Shopping

/m/01mzpv Chair 0,94 ALLOWLIST

/m/0c_jw Furniture 0,71 ALLOWLIST

/m/0fqt361 Stool 0,22 sous 0,35

2 Lampadaire Pastille Shopping

/m/0dtln Lamp 0,89 ALLOWLIST

/m/019sc6 Lighting 0,64 ALLOWLIST

3 Chien Pas de pastille

/m/0bt9lr Dog 0,95 NEUTRAL

/m/0jbk Animal 0,61 NEUTRAL

4 Livres Pas de pastille

/m/0bt_c3 Book 0,81 NEUTRAL

Lens ignore un libellé dont le score est inférieur à 0,35. Toucher une pastille lance la recherche ; c’est le serveur qui choisit les produits. En 2026, la table n’a servi dans aucun des cas que nous avons observés (voir section 5).

Un seul libellé interdit suffit

Lens donne souvent plusieurs libellés au même objet et ignore ceux dont le score est trop bas. Il suffit qu’un seul des libellés restants soit en DENYLIST pour que l’objet entier soit écarté. Un couteau de cuisine, par exemple, porte le libellé « Kitchen knife », qui est neutre ; si Lens lui donne aussi « Knife » (couteau) avec un score suffisant, l’objet disparaît.

Les familles sont un regroupement de notre part : Google fournit une simple liste. Survolez une barre pour voir des exemples ; le détail complet est dans le tableau des 752 MID.

Ce que Lens considère comme achetable

• Quatre familles regroupent 261 des 364 objets achetables : la mode (84), le mobilier et la déco (66), la cuisine (64) et le sport (47). Ce sont des objets pour équiper la maison ou s’équiper soi-même.
• Les 20 instruments de musique sont tous achetables, et c’est la seule famille dans ce cas.
• L’alimentation (82 objets) et les animaux et plantes (115) n’ont aucun objet achetable. Lens les reconnaît, mais une pomme ou un chien appellent plutôt une recherche d’information qu’un achat.
• Seuls 9 objets électroniques sur 49 sont achetables : Smart TV, téléviseur, montre connectée, bracelet d’activité, micro, jumelles, trépied, juke-box et thermomètre infrarouge. Téléphones, ordinateurs portables, casques audio, consoles et appareils photo sont neutres.
• Les véhicules, les personnes, les lieux et les panneaux n’ont aucun objet achetable : la table Lens ne donne pas de pastille Shopping à une voiture ou à une moto.

La liste de Lens Lite ne retient que 68 objets, contre 364 objets achetables dans la table Lens. Sur ces 68 objets, 40 sont des articles de mode ; le mobilier et la déco suivent avec 9 objets. Lens Lite a aussi un score minimum de 0,3 et un filtre qui repère le texte d’une boutique en ligne.

La liste ne colle pas tout à fait à la table Lens : 11 de ses objets y sont neutres, dont la bière, la boîte de conserve, la crème et le casque audio.

Le filtre de texte marchand

\$ \d+|\$\d+|(?i:shipping)|\b(?i:shop)\b|(?i:sale)|(?i:add to cart)|USD|(?i:in stock)|(?i:low stock)|(?i:out of stock)|\%(?i:off)|\% (?i:off)

Le filtre de texte marchand repère un prix en dollars, les mots shipping, shop, sale, add to cart, in stock, low stock, out of stock, la mention USD et les remises (% off). Avec la liste d’objets, il sert sans doute à reconnaître une page de boutique en ligne ou sa capture d’écran.

Le filtre ne connaît que l’anglais et le dollar : « Ajouter au panier », « en stock » ou un prix en euros passent inaperçus.

L’app ne lit la table Lens que si aucun autre réglage ne lui fournit de liste d’objets. Dans tous les cas que nous avons observés, une liste était fournie, si bien que la table n’a pas servi. Sur le téléphone, deux filtres passent sur les objets détectés, avec les réglages du tableau.

Le premier filtre ne fait donc aucun tri par catégorie. Un fruit, un chien ou un smartphone sont gardés dès que leur score dépasse 0,35. Les listes n’interviennent que dans le second filtre. Un objet qui y échoue reste dans la liste et perd seulement sa marque. La première pastille affichée vient du serveur, qui la pose sur l’objet qu’il juge le plus saillant de l’image, quand il en désigne un.

La liste 2026 retire la cuisine et ajoute les animaux et les véhicules

La liste 2026 nomme 431 objets qui n’ont pas droit à une pastille, dont 18 qui privent l’objet de pastille même s’il porte d’autres libellés : les armes, les sex-toys, la seringue, la béquille et le gilet de sauvetage. Elle ne contient aucun objet autorisé. Tout objet absent de la liste peut recevoir une pastille, soit 272 des 703 objets que le détecteur connaît.

Ces 272 objets ne recoupent qu’en partie les objets achetables de la table Lens. La liste 2026 retire la pastille à 205 d’entre eux : presque toute la cuisine (sauf la machine à expresso, les appareils de cuisine et le réfrigérateur), tous les instruments sauf le piano, toute la papeterie et presque tout l’électroménager.

Elle en donne une, à l’inverse, à 135 objets neutres dans la table : 107 animaux et plantes, des véhicules (voiture, moto, bateau, train…), quelques fruits (raisin, pêche, citrouille…) et trois jouets (poupée, ours en peluche, véhicule jouet).

Table : verdict de la table Lens. 2026 : statut dans la liste 2026 (éligible, neutre ou bloqué ; « hors détecteur » = catégorie générale que le détecteur ne renvoie jamais). Lite : fait partie des 68 objets de Lens Lite. Libellés anglais d’origine, traduction française par nos soins.