Cloudflare dal 15 settembre blocca per impostazione predefinita i bot misti sui siti con pubblicità

Dal 15 settembre 2026 le impostazioni predefinite di Cloudflare bloccano i cosiddetti bot misti su tutti i siti che mostrano pubblicità. Sono i bot che una stessa azienda usa insieme per la ricerca classica e per compiti di AI. L'azienda lo ha annunciato con alcuni mesi di anticipo. La decisione, spiega, nasce da un problema pratico: la vecchia distinzione tra bot di ricerca e bot di addestramento non è più chiara per chi gestisce un sito.

Dato che la maggior parte del traffico su internet non proviene più dagli esseri umani, dobbiamo andare avanti e muoverci più in fretta per creare un ecosistema duraturo, ha detto il cofondatore e amministratore delegato di Cloudflare Matthew Prince.

Il meccanismo si basa sulla separazione delle intenzioni. Cohen ha spiegato a Press Gazette che, quando un'azienda gestisce bot distinti per l'addestramento, per la ricerca e per le azioni agentiche, il proprietario del sito può bloccarli o farli passare uno per uno. La pausa di due mesi tra l'annuncio e l'entrata in vigore serviva a dare tempo per adeguarsi.

Quanto è grande questo traffico

I dati sulla scala spiegano perché il tema è tornato. Secondo un'analisi di 51Degrees su oltre 3 miliardi di accessi ai siti in dodici mesi fino a maggio 2026, la quota di sessioni riconosciute come mietitrici AI è cresciuta del 62,5 per cento, dall'8 al 13 per cento di tutte le sessioni. Il bot più attivo è stato AmazonBot con il 4,1 per cento degli accessi. Meta-ExternalAgent rispondeva del 2,9 per cento, BingBot dell'1,35 per cento, Anthropic dello 0,19 per cento, OpenAI dello 0,09 per cento, Perplexity dello 0,04 per cento e Google Gemini dello 0,0003 per cento delle sessioni. Cloudflare aveva già riferito che i bot agentici generano circa il 57,4 per cento del traffico globale.

L'autrice di una delle analisi fa notare che i numeri non sommano al totale. Google, spiega, usa per raccogliere contenuti destinati all'AI lo stesso bot della ricerca, e quindi non è stato incluso nella tabella. Proprio questo caso, un solo bot con due usi, è il nodo della disputa e il motivo per cui il blocco è più difficile di quanto sembri.

L'impatto è ampio, perché Cloudflare gestisce a livello di rete circa il 20 per cento dei siti nel mondo. Dei nuovi strumenti si servono già il Financial Times, The Atlantic, Ziff Davis, Condé Nast e Associated Press, mentre in beta chiusa viene testato il meccanismo pay-per-crawl, cioè un pagamento per il solo ingresso del bot. Gli editori riferiscono che il blocco accelera le trattative sulle licenze: la mancanza di accesso si è rivelata un argomento più forte degli appelli a pagare volontariamente.

Il costo per gli editori è doppio. Il traffico delle mietitrici consuma banda, e le risposte AI sottraggono accessi che potrebbero guadagnare sulla pubblicità. Da qui lo sviluppo parallelo di meccanismi di fatturazione e pannelli di visibilità: un blocco senza possibilità di negoziazione diventerebbe presto semplice invisibilità.