Quattro laboratori AI adottano un unico opt-out in robots.txt per l'addestramento, con date che slittano fino al 2027

Un editore può dichiarare una sola preferenza sull'addestramento invece di tenere una regola separata per GPTBot, Google-Extended e ClaudeBot. Il token non crea alcuna licenza e nessun pagamento. Microsoft lo dice apertamente.

Una riga, nessuna nuova grammatica

Il token nasce da un Internet-Draft di Kevin Kelley, responsabile degli standard di Anthropic. Kelley lo ha presentato al gruppo di lavoro AI Preferences dell'IETF il 30 ottobre 2026.

Un sito scrive User-Agent: __usage_ai-training, poi Disallow: / e le eventuali righe Allow: che vuole. L'esempio dello stesso draft blocca tutto tranne una cartella /press-kit/. Il draft non aggiunge nuovi nomi di direttiva né nuova grammatica. Un parser che non conosce il token salta il gruppo. Un gruppo con carattere jolly, User-Agent: *, non può corrispondere al token. Un file senza quel gruppo non esprime alcuna preferenza.

Quattro aziende, quattro date

Microsoft rispetterà la preferenza condivisa dal 1 febbraio 2027, man mano che Bing riscansiona le pagine. Google punta al 2027 e la sua documentazione sui crawler parla di inizio 2027. OpenAI dice di voler implementare il segnale nei prossimi mesi.

Anthropic è già partita. Kelley ha scritto che il supporto su tutti i suoi servizi richiederà tempo. Si aspetta complicazioni e casi limite inevitabili.

Google ha descritto una lettura specifica. Se un sito rinuncia con la riga condivisa e non menziona Google-Extended, Google prevede di trattarlo come un blocco di Google-Extended. Google-Extended è il controllo sull'addestramento che Google offre dal 2023. John Mueller, search advocate dell'azienda, ha scritto che il token aiuterà i siti a esprimere le proprie preferenze sull'addestramento AI presso più fornitori con un solo passaggio.

Una preferenza, non un blocco

Il draft precisa che il token non è una direttiva sul comportamento di scansione. Aggiunge che accordi privati possono prevalere sulle preferenze espresse tramite esso. Copre i contenuti usati per modificare i parametri appresi di un modello di AI generativa. I modelli che si limitano a classificare o ordinare restano fuori.

Microsoft ha separato l'addestramento dal grounding, il passaggio in cui una risposta AI recupera una pagina live. La sua impostazione AI Grounding a livello di pagina include un'opzione DisallowExtended. Questa limita l'uso ai prodotti Microsoft stessi, come Copilot e Microsoft 365, ed esclude i servizi di grounding che l'azienda vende ad altre società. Microsoft avverte che bloccare il grounding ridurrà in modo significativo la visibilità di un marchio nelle esperienze generate dall'AI. Non cambia la posizione di una pagina nei risultati di ricerca di Bing.

Perché gli editori non sono soddisfatti

La Digital News Publishers Association ha avviato una causa contro OpenAI. Il caso è davanti all'Alta Corte di Delhi, in India. L'accusa è che giornalismo indiano protetto da copyright sia stato raschiato per addestrare ChatGPT, anche da siti che avevano usato robots.txt per tenere lontani i crawler AI.

Una preferenza che guarda al futuro non tocca questa vicenda.

La posizione del draft è debole. Il datatracker dell'IETF indica che l'IETF non lo ha approvato e che non ha alcuno status formale nel processo di standardizzazione. Scade il 3 maggio 2027. OpenAI lo ha definito un meccanismo di coordinamento, non un controllo di sicurezza ai sensi della RFC 9309. Uno scraper che ignora robots.txt ignorerà anche questo.

Cosa succede adesso

I siti possono registrare una preferenza temporanea sul grounding in Bing Webmaster Tools. L'opzione parte il 15 dicembre 2026. I tag NoArchive e NoCache di Microsoft, in uso dal 2023, smettono di valere come preferenza sull'addestramento o sul grounding dopo il 1 marzo 2027.

Andy Stone, responsabile delle comunicazioni di Meta, si è detto favorevole a un segnale comune. Meta non ha chiarito se i suoi crawler lo rispetteranno. Google afferma che l'approccio è coerente con il Codice di condotta UE per l'AI general-purpose previsto dall'AI Act. Quel codice considera robots.txt uno dei modi principali con cui gli editori esprimono preferenze leggibili dalle macchine.