Données Google : une nouvelle page est découverte en 20 heures environ, actualisée tous les 30 jours

Gary Illyes, de Google, a profité d'un événement Search Central Live Deep Dive de trois jours organisé en Europe pour montrer des données internes sur la durée réelle de l'exploration, de l'indexation et de la diffusion. Le compte rendu est de Barry Schwartz, publié le 5 octobre sur le Search Engine Roundtable. Les chiffres étaient déclinés en trois temps : le plus rapide, le typique et le plus lent.

Le chiffre principal : une nouvelle URL est généralement découverte en 20 heures environ, mais le cas le plus lent se compte en semaines, ou jamais.

Cet écart mérite d'être lu deux fois. Découvrir n'est pas indexer, et indexer n'est ni classer ni générer du trafic. Illyes a prévenu que beaucoup de ces processus sont liés, si bien que les délais s'additionnent : une page ne peut pas être indexée avant d'avoir été explorée, et elle ne peut pas obtenir de clic avant d'être indexée et classée. Schwartz cite aussi le référenceur français Neil McCarthy, qui a publié un complément sur LinkedIn, et John Campbell, de We Are Roast, qui a qualifié ces données de « brand new information » dans ses notes prises pendant l'événement.

Ce que disent les délais, ligne par ligne

Le tableau publié par Schwartz couvre bien plus que l'exploration. L'actualisation d'une URL connue prend généralement 30 jours environ, le cas le plus lent allant de quelques semaines à jamais. Le traitement d'un sitemap demande en général 24 heures environ, mais peut s'étirer jusqu'à 14 jours, ou ne jamais aboutir pour des raisons de qualité. Une mise à jour du robots.txt est prise en compte en 24 heures environ, le cas le plus lent étant de 25 heures.

Les mises à jour de la capacité d'exploration prennent de 4 heures à 1 ou 2 semaines en général, et de 1 à 3 semaines quand Google est en phase de rétablissement. Les mises à jour de la demande d'exploration tournent autour de 20 heures en général, de quelques semaines à plusieurs mois dans les cas extrêmes. La capacité d'exploration elle-même peut chuter en quelques secondes lorsque Google se retire, par exemple si un serveur peine à suivre. Un avertissement pour ceux dont l'infrastructure vacille sous la charge.

L'indexation de bout en bout prend en général 1,5 heure environ, mais le cas le plus lent se compte en mois, ou jamais pour des raisons de qualité. Les changements de canonique prennent 1 à 3 semaines en général et des mois en cas de signaux contradictoires. Un déménagement de site dure 1 à 3 mois en général et de 6 mois à 1 an ou plus dans le pire des cas. Le retrait de l'index prend 1 à 3 semaines en général, des mois au plus lent.

Côté diffusion, la mise à jour des titres et des extraits prend généralement 1 à 2 jours, le cas le plus lent allant de plusieurs semaines à plusieurs mois. Les méta-annotations demandent 45 à 90 minutes en général et 1 à 4 jours dans les cas extrêmes. Les annotations de liens prennent de quelques minutes à 1 ou 3 semaines en général et des mois au plus lent. Le rétablissement après une mise à jour majeure demande 3 à 6 mois en général, le cas le plus lent étant de 6 mois à 1 an, c'est-à-dire jusqu'à la mise à jour majeure suivante.

Illyes a mis en garde sur la façon de lire ces diapositives. « Gardez à l'esprit qu'il s'agissait d'un exercice pour voir si le public peut se reconnaître dans les chiffres que nous avons extraits en interne et placés dans ces diapositives », a-t-il déclaré à Schwartz après la publication de l'article. Ce sont donc des chiffres internes illustratifs, pas un engagement de niveau de service.

Pourquoi les délais d'exploration intéressent les éditeurs

Pour un site d'actualité, les chiffres typiques comptent moins que les plus lents. Une information découverte en 20 heures est déjà morte sur les réseaux sociaux. Un cycle d'actualisation d'environ 30 jours signifie qu'un titre corrigé ou une information en cours de développement peut ne pas être reflété pendant un mois. Et qu'un changement de canonique mesuré en semaines peut laisser des versions en double d'un même article se disputer la même requête.

Les chiffres de diffusion jouent en sens inverse pour qui court après les clics. Si la mise à jour d'un titre prend 1 à 2 jours en général, alors retoucher ses titres pour la recherche est un levier lent, pas rapide. Il en va de même pour les mises à jour de données structurées, que le tableau situe entre quelques heures et 1 ou 2 semaines en général, et entre quelques semaines et jamais dans le cas le plus lent.

La vraie question : où est passé le trafic

Les délais d'exploration relèvent de la technique. L'histoire commerciale, que le dossier n'aborde qu'indirectement, c'est que les éditeurs débattent déjà d'une baisse des visites issues de la recherche. Google leur remet aujourd'hui un document qui explique la plomberie sans traiter la fuite.

Ce débat est arrivé devant les tribunaux. Des titres récents indiquent qu'un juge a rejeté les plaintes déposées par Chegg et Penske au sujet des AI Overviews, la motivation étant résumée par l'idée qu'une attente n'est pas un accord. Google a par ailleurs obtenu le rejet des poursuites concernant l'impact de la recherche IA sur le trafic des sites. Ces titres sont un contexte venu des fils d'actualité, pas des faits établis dans ce dossier, et les décisions elles-mêmes doivent être lues directement avant d'être citées comme précédent.

Ce que le dossier établit, en revanche, c'est que l'industrie de la mesure autour de la recherche est en reconstruction. Search Engine Land a rapporté le 5 octobre que l'usage de l'IA a été multiplié par six pour la recherche locale, fragmentant l'écosystème numérique. Le même média a couvert séparément l'arrivée des annonces visuelles et d'une mesure élargie dans ChatGPT par OpenAI. Digital Information World a rapporté que les AI Overviews de Google apparaissaient dans 13,7 % des recherches, avec 11 % d'affirmations non étayées et des risques potentiels pour les revenus des éditeurs.

Aucun de ces chiffres ne vient de Google. À traiter comme des estimations de tiers, avec leurs propres méthodes. Elles divergent aussi par l'accent de la présentation de Google, qui voit les fonctions d'IA comme un ajout à la recherche plutôt qu'un retrait de visites.

Ce qu'un éditeur peut réellement en faire

La lecture pratique du tableau de Google, c'est que les gains faciles se trouvent du côté de la découverte. Les sitemaps, le robots.txt et la demande d'exploration se règlent tous en un jour environ dans le cas typique. Un éditeur qui s'attaque d'abord à ces points voit donc le plus vite des résultats. Le travail sur les canoniques et le déménagement de site est un projet à l'échelle d'un trimestre, et doit être planifié comme tel.

Deuxièmement, la réserve liée à la qualité revient dans tout le tableau. Le traitement des sitemaps, l'indexation, les données structurées et l'analyse vidéo peuvent tous finir par jamais, pour des raisons de qualité. C'est la façon polie, pour Google, de dire qu'une page qu'il ne veut pas indexer ne sera pas indexée, quelle que soit la vitesse de l'exploration.

Troisièmement, rien dans le tableau ne promet du trafic. Il décrit comment le contenu entre dans l'index et comment les changements se propagent. Savoir si une page est affichée, et si un internaute clique dessus plutôt que de lire un résumé généré par IA, relève d'un autre système, avec d'autres règles, que Google n'a pas publiées avec un niveau de détail comparable.

Le contexte technique plus large du dossier rappelle à quel point la couche de découverte du web passe aujourd'hui par des machines. Cloudflare a lancé le 2 octobre une API Web Search en version bêta. Elle permet aux agents et applications d'IA d'interroger internet via les fournisseurs Ceramic.ai, Exa et Linkup, les requêtes étant journalisées et facturées par son AI Gateway, selon la documentation destinée aux développeurs de l'entreprise. Chaque fournisseur renvoie un lien vers la source de chaque résultat, affirme Cloudflare.

C'est un circuit différent de celui de Googlebot, et il ne dépend ni d'un budget d'exploration ni d'une actualisation à 30 jours. C'est aussi, pour l'instant, une bêta avec trois fournisseurs.

Pour les éditeurs, les deux systèmes pointent dans des directions opposées. Les données de Google disent que l'index classique se met à jour lentement et peut refuser d'indexer. La couche de recherche pour agents dit que des réponses peuvent s'appuyer sur des résultats en direct avec un seul appel d'API. Laquelle portera les lecteurs, et la publicité, est la question à laquelle le tableau d'exploration ne répond pas.