Vier KI-Labore stützen einen robots.txt-Opt-out fürs Training, Termine reichen bis 2027

Ein Verlag kann eine einzige Trainingspräferenz angeben, statt für GPTBot, Google-Extended und ClaudeBot je eine eigene Regel zu pflegen. Das Token begründet keine Lizenz und keine Zahlung. Microsoft sagt das ausdrücklich.

Eine Zeile, keine neue Grammatik

Das Token stammt aus einem Internet-Draft von Kevin Kelley, einem Standards-Verantwortlichen bei Anthropic. Er hat es am 30. Oktober 2026 bei der AI Preferences Working Group der IETF eingereicht.

Eine Website schreibt User-Agent: __usage_ai-training und darunter Disallow: / sowie beliebige Allow:-Zeilen. Das Beispiel im Draft sperrt alles außer einem Ordner /press-kit/. Der Draft führt keine neuen Direktivennamen und keine neue Grammatik ein. Ein Parser, der das Token nicht kennt, überspringt die Gruppe. Eine Wildcard-Gruppe mit User-Agent: * kann das Token nicht treffen. Eine Datei ohne diese Gruppe drückt gar keine Präferenz aus.

Vier Unternehmen, vier Termine

Microsoft will die gemeinsame Präferenz ab 1. Februar 2027 beachten, wenn Bing Seiten neu durchsucht. Google peilt 2027 an, die eigene Crawler-Dokumentation nennt Anfang 2027. OpenAI will das Signal nach eigenen Angaben in den kommenden Monaten umsetzen.

Anthropic hat begonnen. Kelley schrieb, die Unterstützung über alle Dienste hinweg werde Zeit brauchen. Er rechnet mit unvermeidlichen Komplikationen und Sonderfällen.

Google hat eine bestimmte Auslegung beschrieben. Wenn eine Website mit der gemeinsamen Zeile opt-out erklärt und Google-Extended nicht erwähnt, will Google das als Sperre für Google-Extended werten. Google-Extended ist die Trainingssteuerung, die Google seit 2023 anbietet. John Mueller, Search Advocate bei Google, schrieb, das Token helfe Websites, ihre KI-Trainingspräferenzen gegenüber mehreren KI-Anbietern in einem Schritt auszudrücken.

Eine Präferenz, keine Sperre

Laut Draft ist das Token keine Direktive für das Crawl-Verhalten. Private Vereinbarungen könnten Präferenzen überlagern, die über das Token ausgedrückt werden. Es erfasst Inhalte, die genutzt werden, um die gelernten Parameter eines generativen KI-Modells zu verändern. Modelle, die nur klassifizieren oder ranken, fallen nicht darunter.

Microsoft trennt Training von Grounding, also dem Schritt, in dem eine KI-Antwort eine aktuelle Seite heranzieht. Die Einstellung AI Grounding auf Seitenebene enthält die Option DisallowExtended. Sie beschränkt die Nutzung auf Microsofts eigene Produkte wie Copilot und Microsoft 365 und schließt die Grounding-Dienste aus, die Microsoft an andere Unternehmen verkauft. Microsoft warnt, das Blockieren von Grounding verringere die Sichtbarkeit einer Marke in KI-generierten Erfahrungen deutlich. Am Platz einer Seite in den Bing-Suchergebnissen ändere das nichts.

Warum die Verlage unzufrieden sind

Die Digital News Publishers Association führt einen Fall gegen OpenAI. Er liegt beim Delhi High Court in Indien. Die Klage behauptet, urheberrechtlich geschützter indischer Journalismus sei zum Training von ChatGPT abgegriffen worden, auch von Websites, die robots.txt genutzt hatten, um KI-Crawler fernzuhalten.

Eine Präferenz, die in die Zukunft wirkt, ändert daran nichts.

Der Status des Drafts ist dünn. Der IETF-Datatracker vermerkt, dass die IETF ihn nicht gebilligt hat und ihm im Standardisierungsverfahren keine formale Geltung zukommt. Er läuft am 3. Mai 2027 ab. OpenAI nannte ihn einen Koordinationsmechanismus und keine Sicherheitskontrolle nach RFC 9309. Ein Scraper, der robots.txt ignoriert, wird auch das ignorieren.

Wie es weitergeht

Websites können in den Bing Webmaster Tools eine vorläufige Grounding-Präferenz eintragen. Die Option startet am 15. Dezember 2026. Microsofts Tags NoArchive und NoCache, seit 2023 im Einsatz, zählen nach dem 1. März 2027 nicht mehr als Trainings- oder Grounding-Präferenz.

Andy Stone, Kommunikationschef bei Meta, sprach sich für ein gemeinsames Signal aus. Ob die Crawler von Meta es beachten werden, hat das Unternehmen nicht gesagt. Google erklärt, der Ansatz passe zum EU Code of Practice for general-purpose AI unter dem AI Act. Dieser Code behandelt robots.txt als einen Hauptweg, auf dem Verlage maschinenlesbare Präferenzen ausdrücken.