Cztery laboratoria AI popierają jedno wyłączenie trenowania w robots.txt, z terminami rozłożonymi do 2027 r.

Wydawca może podać jedną preferencję dotyczącą trenowania, zamiast utrzymywać osobną regułę dla GPTBot, Google-Extended i ClaudeBot. Token nie tworzy licencji ani nie oznacza płatności. Microsoft mówi to wprost.

Jedna linia, bez nowej gramatyki

Token pochodzi z Internet-Draftu Kevina Kelleya, który w Anthropicu odpowiada za standardy. Zgłosił go do grupy roboczej AI Preferences przy IETF 30 października 2026 r.

Strona zapisuje User-Agent: __usage_ai-training, a potem Disallow: / oraz dowolne linie Allow:, jakie chce. Przykład w drafcie blokuje wszystko poza folderem /press-kit/. Draft nie dodaje nowych nazw dyrektyw ani gramatyki. Parser, który nigdy nie słyszał o tokenie, pomija grupę. Grupa z wildcardem, User-Agent: *, nie może dopasować tokenu. Plik bez takiej grupy nie wyraża żadnej preferencji.

Cztery firmy, cztery terminy

Microsoft będzie respektować wspólną preferencję od 1 lutego 2027 r., gdy Bing będzie ponownie indeksować strony. Google celuje w 2027 rok, a jego dokumentacja dla robotów mówi o początku 2027 r. OpenAI podaje, że zamierza wdrożyć sygnał w najbliższych miesiącach.

Anthropic już zaczął. Kelley napisał, że obsługa we wszystkich usługach firmy zajmie czas. Spodziewa się nieuniknionych komplikacji i przypadków brzegowych.

Google opisał jeden konkretny sposób odczytu. Jeśli strona rezygnuje za pomocą wspólnej linii i nie wspomina o Google-Extended, Google zamierza potraktować to jako blokadę Google-Extended. Google-Extended to mechanizm kontroli trenowania, który Google oferuje od 2023 r. John Mueller, rzecznik Google ds. wyszukiwania, napisał, że token pomoże stronom wyrazić preferencje dotyczące trenowania AI u wielu dostawców w jednym kroku.

Preferencja, nie blokada

Draft mówi, że token nie jest dyrektywą dotyczącą zachowania robotów indeksujących. Prywatne umowy mogą nadpisywać preferencje wyrażone za jego pomocą. Obejmuje treści używane do zmiany wyuczonych parametrów modelu generatywnego AI. Modele, które tylko klasyfikują lub szeregują, są poza nim.

Microsoft rozdzielił trenowanie od ugruntowania, czyli etapu, w którym odpowiedź AI sięga po aktualną stronę. Ustawienie AI Grounding na poziomie strony zawiera opcję DisallowExtended. Ogranicza ona użycie do produktów samego Microsoftu, takich jak Copilot i Microsoft 365, i wyklucza usługi ugruntowania, które firma sprzedaje innym. Microsoft ostrzega, że blokowanie ugruntowania znacznie zmniejszy widoczność marki w doświadczeniach generowanych przez AI. Nie zmienia to pozycji strony w wynikach wyszukiwania Bing.

Dlaczego wydawcy nie są usatysfakcjonowani

Digital News Publishers Association prowadzi sprawę przeciwko OpenAI. Toczy się ona w Wysokim Sądzie w Delhi. Zarzuca, że chronione prawem autorskim indyjskie dziennikarstwo było zbierane do trenowania ChatGPT, także ze stron, które użyły robots.txt, żeby trzymać roboty AI z daleka.

Preferencja działająca na przyszłość tego nie dotyka.

Pozycja draftu jest słaba. IETF datatracker podaje, że IETF go nie zatwierdził i że nie ma on formalnego znaczenia w procesie standaryzacji. Wygasa 3 maja 2027 r. OpenAI nazwał go mechanizmem koordynacji, a nie kontrolą bezpieczeństwa w rozumieniu RFC 9309. Scraper, który ignoruje robots.txt, zignoruje też to.

Co dalej

Strony mogą zapisać tymczasową preferencję ugruntowania w Bing Webmaster Tools. Opcja startuje 15 grudnia 2026 r. Tagi NoArchive i NoCache Microsoftu, używane od 2023 r., przestaną być traktowane jako preferencja trenowania lub ugruntowania po 1 marca 2027 r.

Andy Stone, szef komunikacji Mety, wyraził poparcie dla wspólnego sygnału. Meta nie podała, czy jej roboty będą go respektować. Google twierdzi, że podejście jest zgodne z unijnym kodeksem postępowania dla AI ogólnego przeznaczenia w ramach AI Act. Kodeks ten traktuje robots.txt jako jeden z głównych sposobów, w jaki wydawcy podają preferencje czytelne maszynowo.