Google-Daten: neue Seite in rund 20 Stunden entdeckt, alle 30 Tage aktualisiert

Gary Illyes von Google nutzte ein dreitägiges Search Central Live Deep Dive in Europa, um interne Daten dazu zu zeigen, wie lange Crawling, Indexierung und Auslieferung tatsächlich dauern. Das berichtet Barry Schwartz vom Search Engine Roundtable am 5. Oktober. Die Zahlen waren jeweils in eine schnellste Zeit, eine typische Zeit und eine langsamste Zeit aufgeteilt.

Die Kernzahl: Eine neue URL wird typischerweise in etwa 20 Stunden entdeckt, im langsamsten Fall dauert es Wochen oder es passiert nie.

Diese Lücke sollten Verlage zweimal lesen. Entdeckung ist nicht Indexierung, und Indexierung ist nicht Ranking oder Traffic. Illyes warnte, viele dieser Prozesse hingen zusammen, sodass sich Verzögerungen summieren: Eine Seite kann nicht indexiert werden, bevor sie gecrawlt wurde, und sie kann keinen Klick bekommen, bevor sie indexiert und gerankt ist. Schwartz zitiert außerdem den französischen SEO Neil McCarthy, der auf LinkedIn mehr dazu schrieb, und John Campbell von We Are Roast, der die Daten in seinen Notizen von der Veranstaltung als "brandneue Informationen" bezeichnete.

Was die Zeiten Zeile für Zeile sagen

Die von Schwartz veröffentlichte Tabelle deckt weit mehr ab als das Crawling. Die Aktualisierung einer bekannten URL dauert typischerweise etwa 30 Tage, im langsamsten Fall Wochen bis nie. Die Sitemap-Verarbeitung liegt meist bei etwa 24 Stunden, kann sich aber auf 14 Tage ziehen oder aus Qualitätsgründen nie abgeschlossen werden. Eine robots.txt-Aktualisierung ist in etwa 24 Stunden durch, der langsamste Fall liegt bei 25 Stunden.

Aktualisierungen der Crawl-Kapazität dauern typischerweise 4 Stunden bis 1 bis 2 Wochen, bei der Erholung von Google 1 bis 3 Wochen. Aktualisierungen der Crawl-Nachfrage laufen typischerweise etwa 20 Stunden, im Extremfall Wochen bis Monate. Die Crawl-Kapazität selbst kann in Sekunden sinken, wenn Google zurückfährt, etwa wenn ein Server unter Last Probleme macht. Das ist eine Warnung für alle, deren Infrastruktur unter Belastung schwankt.

Die Indexierung von Anfang bis Ende dauert typischerweise etwa 1,5 Stunden, im langsamsten Fall aber Monate oder aus Qualitätsgründen nie. Änderungen an der Kanonisierung dauern meist 1 bis 3 Wochen, bei widersprüchlichen Signalen Monate. Ein Seitenumzug dauert in der Regel 1 bis 3 Monate, im Extremfall 6 Monate bis 1 Jahr oder länger. Das Entfernen aus dem Index dauert typischerweise 1 bis 3 Wochen, im langsamsten Fall Monate.

Auf der Auslieferungsseite brauchen Aktualisierungen von Titel und Snippet typischerweise 1 bis 2 Tage, im langsamsten Fall mehrere Wochen bis Monate. Meta-Annotationen dauern meist 45 bis 90 Minuten, im Extremfall 1 bis 4 Tage. Link-Annotationen brauchen typischerweise Minuten bis 1 bis 3 Wochen, im langsamsten Fall Monate. Die Erholung nach einem Core-Update dauert meist 3 bis 6 Monate, im langsamsten Fall 6 Monate bis 1 Jahr, nämlich bis zum nächsten Core-Update.

Illyes war vorsichtig damit, wie die Folien zu lesen sind. "Beachtet, dass dies eine Übung war, um zu sehen, ob das Publikum die Zahlen nachvollziehen kann, die wir intern gezogen und in diese Folien gesetzt haben", sagte er zu Schwartz, nachdem der Beitrag erschienen war. Es handelt sich also um illustrative interne Zahlen, nicht um eine Servicevereinbarung.

Warum Verlage sich für Crawl-Zeiten interessieren

Für eine Nachrichtenseite zählen die langsamsten Fälle mehr als die typischen. Eine Geschichte, die in 20 Stunden entdeckt wird, ist in den sozialen Netzwerken längst tot. Ein Aktualisierungszyklus von etwa 30 Tagen bedeutet, dass eine korrigierte Überschrift oder eine fortgeschriebene Geschichte womöglich einen Monat lang nicht auftaucht. Und eine Kanonisierungsänderung, die sich über Wochen zieht, kann doppelte Versionen einer Geschichte gegeneinander um dieselbe Suchanfrage konkurrieren lassen.

Die Auslieferungszahlen wirken für alle, die auf Klicks schielen, in die andere Richtung. Wenn eine Titeländerung typischerweise 1 bis 2 Tage braucht, ist das Feilen an Überschriften für die Suche ein langsamer Hebel, kein schneller. Dasselbe gilt für Aktualisierungen strukturierter Daten: Die Tabelle nennt hier typischerweise Stunden bis 1 bis 2 Wochen, im langsamsten Fall Wochen oder nie.

Die größere Frage: wohin der Traffic gegangen ist

Crawl-Zeiten sind eine technische Geschichte. Die kommerzielle Geschichte, die das Dossier nur indirekt berührt, ist, dass Verlage bereits über einen Rückgang der Suchverweise streiten. Google liefert ihnen nun ein Dokument, das die Leitungen erklärt, ohne auf den Abfluss einzugehen.

Dieser Streit ist vor Gericht gelandet. Jüngste Schlagzeilen vermelden, ein Richter habe Klagen von Chegg und Penske zu AI Overviews abgewiesen, mit der Begründung, eine Erwartung sei kein Vertrag, und Google habe die Abweisung von Klagen zum Einfluss der KI-Suche auf Website-Traffic erreicht. Diese Schlagzeilen sind Kontext aus dem Nachrichtenticker, keine in diesem Dossier belegten Fakten. Die zugrunde liegenden Entscheidungen sollte man direkt lesen, bevor man sie als Präzedenzfall zitiert.

Was das Dossier belegt, ist, dass die Messbranche rund um die Suche neu aufgebaut wird. Search Engine Land berichtete am 5. Oktober, die KI-Nutzung bei der lokalen Suche sei um das Sechsfache gestiegen und zersplittere das digitale Ökosystem, und berichtete separat, OpenAI bringe visuelle Anzeigen und erweiterte Messungen in ChatGPT. Digital Information World meldete, Google AI Overviews seien in 13,7% der Suchen erschienen, mit 11% unbelegten Aussagen und möglichen Umsatzrisiken für Verlage.

Keine dieser Zahlen stammt von Google. Behandelt sie als Schätzungen Dritter mit eigenen Methoden, und beachtet, dass sie in der Betonung von Googles eigener Darstellung abweichen. Google präsentiert KI-Funktionen als Zusatz zur Suche, nicht als Abzug von Verweisen.

Was ein Verlag damit tatsächlich anfangen kann

Die praktische Lesart von Googles Tabelle: Die billigen Erfolge liegen auf der Entdeckungsseite. Sitemaps, robots.txt und Crawl-Nachfrage sind im typischen Fall in etwa einem Tag erledigt. Ein Verlag, der diese zuerst in Ordnung bringt, sieht am schnellsten Bewegung. Arbeit an Kanonisierung und Seitenumzug ist ein Projekt im Quartalsmaßstab und sollte auch so geplant werden.

Zweitens wiederholt sich der Qualitätsvorbehalt durch die ganze Tabelle. Sitemap-Verarbeitung, Indexierung, strukturierte Daten und Videoanalyse können alle aus Qualitätsgründen bei nie enden. Das ist Googles höfliche Art zu sagen: Eine Seite, die Google nicht indexieren will, wird nicht indexiert, egal wie schnell der Crawl ist.

Drittens verspricht die Tabelle nirgends Traffic. Sie beschreibt, wie Inhalte in den Index gelangen und wie sich Änderungen fortpflanzen. Ob eine Seite angezeigt wird und ob ein Nutzer sie anklickt statt eine KI-Zusammenfassung zu lesen, ist ein separates System mit eigenen Regeln, die Google nicht in vergleichbarer Ausführlichkeit veröffentlicht hat.

Der weitere technische Kontext im Dossier erinnert daran, wie stark die Entdeckungsschicht des Webs inzwischen maschinenvermittelt ist. Cloudflare startete am 2. Oktober eine Web Search API in der Beta, mit der KI-Agenten und Anwendungen über die Anbieter Ceramic.ai, Exa und Linkup im Internet suchen können; Suchanfragen werden protokolliert und über das AI Gateway abgerechnet, so die Entwicklerdokumentation des Unternehmens. Jeder Anbieter liefere einen Link zur Quelle jedes Ergebnisses, teilt Cloudflare mit.

Das ist eine andere Pipeline als Googlebot, und sie hängt weder vom Crawl-Budget noch von einer 30-Tage-Aktualisierung ab. Sie ist vorerst auch eine Beta mit drei Anbietern.

Für Verlage zeigen die beiden Systeme in entgegengesetzte Richtungen. Googles Daten sagen, der klassische Index aktualisiert sich langsam und kann die Indexierung ganz verweigern. Die Agenten-Suche sagt, Antworten lassen sich mit einem einzigen API-Aufruf auf Live-Ergebnisse stützen. Welches System die Leser trägt und die Werbung, ist die Frage, die die Crawl-Tabelle nicht beantwortet.