I siti potranno dire no al training AI con una sola regola, ma l’adesione dei fornitori resta volontaria

Per chi pubblica online, la novità non è un nuovo pulsante né un contratto di licenza: è una riga dentro un file che molti siti hanno già. Dopo anni di controlli separati per ogni crawler, i maggiori operatori dell’intelligenza artificiale stanno convergendo su un segnale unico per esprimere il rifiuto all’uso dei contenuti nel training dei modelli generativi, come ha segnalato anche The Verge. L’annuncio coordinato è arrivato lo stesso giorno in cui l’IETF ha pubblicato un nuovo Internet-Draft sul tema.

Il meccanismo usa il Robots Exclusion Protocol, lo standard formalizzato nel 2022 come RFC 9309, ma gli attribuisce una funzione diversa da quella storica. robots.txt è nato per indicare ai crawler se possono accedere a certe pagine; il nuovo segnale serve invece a comunicare una preferenza d’uso: non addestrare modelli generativi con gli asset trovati a quei percorsi. In pratica, un sito può scrivere: User-Agent: __usage_ai-training; Disallow: /. L’effetto dichiarato è “non usare questo contenuto per AI training”, non “non visitare questo URL”.

Che cosa cambia rispetto ai blocchi per singolo crawler

Finora un editore, un’azienda o un blog che volesse limitare l’addestramento dei modelli doveva inseguire una lista in continuo movimento: GPTBot per OpenAI, Google-Extended per Google, ClaudeBot per Anthropic, controlli di Bing e altri identificativi ancora. La stessa nota di OpenAI riconosce che i gestori dei siti dovevano identificare i singoli crawler e mantenere regole separate per ogni provider. Il nuovo token prova a ribaltare il carico operativo: una sola istruzione, interpretata dai provider che scelgono di aderire.

La proposta tecnica, firmata da Kevin Kelley di Anthropic, definisce __usage_ai-training come policy token da inserire nella riga User-Agent. Non introduce nuovi comandi e non cambia la grammatica di robots.txt: restano le direttive Allow e Disallow, restano i percorsi, resta la logica del match più specifico. Il draft precisa anche che i gruppi con User-Agent: * non vanno interpretati come preferenza per questo token: se un sito vuole esprimere una scelta sul training deve scrivere esplicitamente il nuovo identificativo.

Questa architettura ha due conseguenze pratiche. La prima è che i parser esistenti possono ignorare il gruppo senza rompersi, perché vedono un normale user-agent non riconosciuto. La seconda è che il segnale può essere per percorso, non solo per l’intero dominio: un sito potrebbe vietare il training su tutto l’archivio e autorizzarlo su una cartella stampa o su un’area di documentazione volutamente aperta.

Le promesse di OpenAI, Google e Microsoft non hanno la stessa scadenza

OpenAI ha annunciato che rispetterà il segnale comune “nei prossimi mesi” e che i controlli esistenti continueranno a valere. Nella documentazione dei crawler, l’azienda distingue già tra OAI-SearchBot e GPTBot: il primo serve alla comparsa nei risultati di ricerca dentro ChatGPT, il secondo può raccogliere contenuti usati per rendere più utili e sicuri i modelli generativi. OpenAI specifica anche che le impostazioni sono indipendenti: un sito può permettere la ricerca e bloccare il training.

Google prevede invece il supporto nel 2027. Il punto tecnico più rilevante è l’interazione con Google-Extended, il token già usato dal 2023 per gestire l’uso dei contenuti nei modelli Gemini e nel grounding. Se un sito userà il nuovo token per dire no al training e non darà istruzioni esplicite a Google-Extended, Google lo interpreterà come un blocco di Google-Extended. Se invece un editore vorrà trattare Google in modo diverso dagli altri provider, potrà continuare a farlo con il token proprietario.

Microsoft ha indicato la data più precisa: dal 1 febbraio 2027 Bing inizierà a rispettare le nuove preferenze mentre effettua il crawling. L’azienda introdurrà anche preferenze a livello di pagina per il training e per il grounding, cioè l’uso di contenuti web per informare risposte generate in prodotti come Copilot, AI Mode, AI Overview e Microsoft 365. Entro il 1 marzo 2027, i siti che oggi usano NoArchive o NoCache dovranno migrare alle nuove impostazioni: dopo quella data Microsoft non li leggerà più come preferenze per training o grounding.

La riga tecnica non risolve da sola il problema economico dello scraping

La pressione sul tema non nasce da un dettaglio di configurazione, ma da un cambio profondo nel rapporto tra crawler e traffico restituito ai siti. Secondo Cloudflare, nel giugno 2025 Google effettuava circa 14 crawl per ogni referral inviato, OpenAI circa 1.700 e Anthropic circa 73.000. Sono ordini di grandezza molto diversi e spiegano perché editori, forum, archivi e siti commerciali chiedano controlli più granulari: il valore prelevato dai crawler non torna necessariamente sotto forma di visite, abbonamenti o ricavi pubblicitari.

Crawl per referral secondo CloudflareValori in crawl/referral

• Google14
• OpenAI1700
• Anthropic73000

Lo stesso Cloudflare aveva già spinto su strumenti alternativi: blocco selettivo dei crawler AI, impostazioni per distinguere ricerca, training e agenti, e modelli di pay per crawl. A settembre 2026 l’azienda ha presentato un approccio pensato per separare la visibilità nei motori di ricerca dal consenso al training. Ma nella documentazione avvertiva che, fino al supporto di Microsoft previsto per l’inizio del 2027, una preferenza “no training” in robots.txt non sarebbe stata automaticamente trasmessa a Bing attraverso quel meccanismo.

Il nuovo token prova quindi a creare interoperabilità, non a fissare un prezzo. Microsoft lo dice esplicitamente: permettere o vietare training e grounding non garantisce inclusione, traffico o pagamento. Google, dal canto suo, continua a distinguere tra presenza nella ricerca tradizionale e uso nei prodotti generativi: Google-Extended non incide sull’inclusione in Google Search né è usato come segnale di ranking, ma può incidere sulla possibilità di apparire in risposte e citazioni in ambienti Gemini quando il sito lo blocca.

Il ruolo dell’Europa e la spinta dei regolatori

La tempistica non è casuale. In Europa, il Codice di condotta GPAI collegato all’AI Act richiede ai firmatari di rispettare robots.txt e altri protocolli leggibili dalle macchine per le riserve di diritti nel contesto del text and data mining. La Commissione europea ha avviato una consultazione tra dicembre 2025 e gennaio 2026 per individuare soluzioni di opt-out considerate tecnicamente implementabili, diffuse e generalmente accettate, includendo oltre a robots.txt protocolli come TDMRep, C2PA TDM Assertions e AI.txt.

Il codice europeo non trasforma automaticamente il nuovo token in legge, ma rende più importante per i fornitori di modelli dimostrare di avere procedure chiare per riconoscere le riserve dei titolari dei diritti. Il testo del capitolo copyright del GPAI Code incoraggia anche i provider che controllano un motore di ricerca a evitare che la scelta di non autorizzare il training produca effetti negativi diretti sull’indicizzazione. È esattamente il nodo commerciale dei publisher: dire no all’addestramento senza sparire dai risultati di ricerca.

La stessa direzione si vede nel Regno Unito. A giugno 2026, la Competition and Markets Authority ha ordinato a Google di dare agli editori strumenti efficaci per impedire l’uso dei loro contenuti in AI Overviews, AI Mode e altri servizi generativi per gli utenti britannici. La decisione richiedeva anche citazioni più chiare nei risultati generati dall’AI e controlli per l’uso dei contenuti nel fine-tuning dei modelli.

Perché il nuovo standard resta volontario

Il limite principale è scritto nei documenti stessi. Il draft IETF è un work in progress con scadenza al 3 maggio 2027, non un RFC definitivo. Inoltre, il vocabolario AIPREF chiarisce che esprimere una preferenza non assicura che venga seguita: non stabilisce se, come o quando un provider debba rispettarla, né sostituisce obblighi legali, contrattuali o tecnici. In altre parole, il segnale rende la scelta più leggibile; non la rende automaticamente esecutiva.

Il Robots Exclusion Protocol ha sempre funzionato su base cooperativa. La RFC 9309 specifica che le regole non sono una forma di autorizzazione all’accesso e non sostituiscono misure di sicurezza vere, come autenticazione, paywall o blocchi server-side. Il nuovo token eredita questa natura: può indicare la volontà del gestore del sito, ma non impedisce tecnicamente a un attore scorretto di scaricare una pagina.

La ricerca empirica conferma il problema. Uno studio pubblicato su arXiv nel 2025 su Scrapers selectively respect robots.txt directives ha analizzato 130 bot auto-dichiarati per 40 giorni e ha trovato che alcuni crawler controllano raramente robots.txt, specialmente in categorie legate all’AI. Un altro studio del 2026 su AI assistants con capacità di navigazione ha rilevato comportamenti molto diversi tra sistemi: alcuni rispettavano le regole previste, altri accedevano a risorse vietate o usavano user-agent generici che rendevano difficile l’attribuzione.

C’è poi un rischio di qualità dell’informazione. Uno studio su robots.txt gatekeeping ha confrontato siti di informazione reputabili e siti di disinformazione: il 60% dei primi bloccava almeno un crawler AI, contro il 9,1% dei secondi. Se le fonti affidabili restringono l’accesso più delle fonti scadenti, i modelli e i motori generativi potrebbero trovarsi con un web più facile da leggere proprio dove l’informazione è meno controllata.

Siti che bloccano almeno un crawler AI

• Siti reputabili60%
• Disinformazione9,1%

Cosa devono fare ora siti, aziende e sviluppatori

Per i responsabili tecnici, la prima conseguenza è una revisione del file robots.txt. Chi oggi blocca singoli crawler dovrà decidere se aggiungere il nuovo token come regola generale e mantenere eccezioni per alcuni provider. Il draft consente infatti di combinare una preferenza ampia con controlli proprietari più specifici: un editore potrebbe dire no al training per tutti, ma negoziare un accordo con un singolo fornitore o consentire l’uso di un’area specifica.

Per gli editori italiani la scelta non è puramente tecnica. Vietare il training può rafforzare una posizione negoziale, soprattutto se accompagnato da contratti, licenze, log server e prove di accesso. Ma un blocco mal configurato può ridurre la visibilità in sistemi di ricerca generativa o assistenti che citano le fonti. La distinzione tra training, grounding e ricerca diventa quindi centrale: dire no all’addestramento storico dei modelli non equivale sempre a dire no alla comparsa in una risposta con link.

Per le aziende che usano contenuti propri, documentazione tecnica o knowledge base pubbliche, il nuovo segnale offre una via più semplice per evitare che materiali aggiornati, manuali e guide vengano riassorbiti nei modelli senza controllo. Ma resta necessaria una governance interna: decidere quali sezioni sono promozionali, quali sono sensibili, quali possono essere usate per discovery e quali richiedono accesso autenticato.

I prossimi passaggi sono già segnati dal calendario. OpenAI deve spiegare nei prossimi mesi come implementerà il segnale. Google ha promesso aggiornamenti verso il supporto nel 2027. Microsoft ha fissato il 1 febbraio 2027 per l’avvio e il 1 marzo 2027 per il passaggio dai vecchi segnali NoArchive e NoCache. Nel frattempo, il draft IETF dovrà evolvere da proposta a standard più stabile, con il nodo politico ancora aperto: un opt-out comune rende più semplice dire no, ma non decide chi debba pagare quando l’AI usa il web.

Domande e risposte

Come funziona il nuovo opt-out AI in robots.txt?

Il sito inserisce nel file robots.txt un gruppo con User-Agent: __usage_ai-training e una regola Disallow, per esempio Disallow: /. Il segnale comunica ai provider aderenti che quei contenuti non devono essere usati per addestrare modelli generativi. Non blocca automaticamente il crawling e non vale per provider che non lo rispettano.

Quando OpenAI, Google e Microsoft rispetteranno __usage_ai-training?

OpenAI ha annunciato il supporto il 30 ottobre 2026 e parla di implementazione nei prossimi mesi. Google punta al 2027 e lo collegherà a Google-Extended se non ci sono istruzioni specifiche. Microsoft ha fissato il 1 febbraio 2027 per l’avvio e il 1 marzo 2027 per abbandonare NoArchive e NoCache come segnali per training e grounding.

Bloccare il training AI fa sparire un sito da Google Search o ChatGPT Search?

Non necessariamente. Google afferma che Google-Extended non incide sull’inclusione o sul ranking in Google Search. OpenAI distingue OAI-SearchBot, usato per la ricerca in ChatGPT, da GPTBot, legato al training. Il rischio nasce dalle configurazioni sbagliate: bloccare il crawler di ricerca può ridurre la presenza nei risultati generativi.

Il nuovo segnale impedisce l’uso dei contenuti già raccolti per addestrare modelli?

No. Il segnale riguarda le preferenze espresse al momento del recupero dei contenuti e serve soprattutto per usi futuri. Non rimuove automaticamente dati già entrati in dataset o modelli addestrati. Per contenuti sensibili o protetti restano necessari strumenti più forti: autenticazione, paywall, contratti, blocchi server-side e tracciamento degli accessi.

Perché editori e siti italiani dovrebbero aggiungere questo token nel 2027?

Per ridurre il lavoro di manutenzione delle regole e rendere leggibile una preferenza comune a più provider. Dal 2027 Google e Microsoft prevedono il supporto, mentre OpenAI parla di tempi più brevi. Per editori italiani la scelta va coordinata con strategia SEO, licenze, log tecnici e regole europee su AI Act e diritto d’autore.