Dal 30 ottobre 2026 c'è una regola sola nel robots.txt per dire alle AI di non usare il tuo sito per l'addestramento: si chiama __usage_ai-training e Google, OpenAI e Microsoft hanno detto che la rispetteranno, mentre la proposta tecnica l'ha scritta un ingegnere di Anthropic. Bastano due righe.
Il problema è che oggi non la applica ancora nessuno dei tre in modo ufficiale, quindi le vecchie regole per GPTBot, Google-Extended e ClaudeBot vanno tenute.
In questa guida ti spiego cosa fa davvero il nuovo segnale robots.txt AI, cosa non fa, quando entra in funzione per ogni provider e quale robots.txt metterei oggi sul sito di un'azienda.
Con una distinzione che quasi tutte le guide saltano: bloccare il training non è la stessa cosa che sparire da ChatGPT o dalle risposte AI di Google.
Cos'è __usage_ai-training, la nuova regola robots.txt AI
__usage_ai-training è un policy token: un nome che metti nella riga User-Agent del robots.txt, come faresti con un bot. Non è il nome di un crawler vero. Serve solo a esprimere una preferenza: "i contenuti di questi percorsi non usarli per addestrare modelli di AI generativa".
La sintassi della regola robots.txt AI è quella di sempre. Questo è l'esempio della bozza ufficiale:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Tradotto: niente addestramento su tutto il sito, tranne la cartella /press-kit/, dove l'addestramento è esplicitamente permesso.
Chi l'ha proposto e che valore ha
- La bozza si chiama "Machine-Readable Training Preference Signal" ed è firmata da un ingegnere di Anthropic, pubblicata il 30 ottobre 2026.
- Il contesto è il gruppo di lavoro AI Preferences (AIPREF) dell'IETF, lo stesso ente che standardizza i protocolli di Internet.
- Lo stato: è una bozza individuale, non ancora uno standard. Scade il 3 maggio 2027 se non viene aggiornata.
- La definizione di training è quella dell'IETF: usare un contenuto per modificare i parametri di un modello di AI generativa. I modelli che fanno solo classificazione o ranking sono esclusi.
Quando funziona il robots.txt AI: il calendario per provider
Qui c'è il punto che i titoli dei giornali non dicono. L'annuncio è comune, ma ognuno parte quando vuole.
- OpenAI: ha detto che implementerà il segnale "nei prossimi mesi", senza una data. Le regole per GPTBot e OAI-SearchBot restano valide.
- Google: punta al 2027. Quando lo supporterà, un
Disallowsul token, se non hai scritto regole per Google-Extended, verrà trattato come un blocco di Google-Extended. - Microsoft: è l'unica con una data precisa. Dal 1 febbraio 2027 Bing legge le nuove preferenze man mano che ripassa sulle pagine.
- Anthropic: ha scritto la proposta, ma non ho trovato una data ufficiale di applicazione. Finché non c'è, tieni la regola per ClaudeBot.
In pratica: se aggiungi oggi la regola robots.txt AI non sbagli, perché è pensata per essere ignorata senza danni da chi non la conosce. Però da sola, oggi, non basta.
Bloccare l'addestramento AI ti toglie da Google o da ChatGPT?
No, ed è la domanda più importante prima di toccare il file. Le AI usano i tuoi contenuti in due modi diversi.
- Training: il testo entra nei dati con cui si addestra un modello futuro. Non porta citazioni né clic.
- Ricerca e risposte (grounding): l'AI legge la pagina nel momento in cui risponde e spesso ti cita con un link. Questo porta visibilità.
Il nuovo token tocca solo il training. Vediamo cosa succede con ogni provider:
- OpenAI separa GPTBot (training) da OAI-SearchBot (ricerca in ChatGPT). Puoi bloccare il primo e lasciare il secondo: resti nei risultati di ChatGPT Search.
- Google: Google-Extended non incide sulla presenza né sul posizionamento nella Ricerca Google. Le AI Overviews fanno parte della Ricerca e passano da Googlebot.
- Microsoft ha separato training e grounding: puoi negare il training e restare idoneo per le risposte di Copilot e Bing. Le scelte sul training non cambiano l'idoneità ai risultati classici di Bing.
Quando valuto la visibilità di un sito nelle risposte AI, questa è la prima cosa che controllo.
Tante configurazioni "anti AI" bloccano anche i bot di ricerca e tolgono citazioni che il sito avrebbe potuto avere.
L'errore più comune nel robots.txt AI: User-agent *
La bozza è esplicita: il gruppo User-Agent: * non deve essere letto come una preferenza sul training. Se il tuo robots.txt ha solo regole generiche, per il nuovo segnale non hai espresso nessuna preferenza.
Altri tre dettagli tecnici utili:
- Non è un blocco della scansione: il token dice come usare i contenuti, non vieta di scaricarli. Per limitare il crawling servono le regole per i singoli bot.
- Le regole specifiche vincono: un provider può considerare le sue regole (per esempio Google-Extended) più specifiche del token comune.
- Nessuna regola sul token significa nessuna preferenza: non è né un sì né un no.
Il robots.txt AI che metterei oggi
Ecco una base per chi vuole negare il training ma restare citabile nelle risposte AI. È la scelta che propongo di solito ai siti aziendali che vivono di contatti.
# Preferenza comune sul training (nuovo segnale)
User-Agent: __usage_ai-training
Disallow: /
# Regole specifiche, finché il segnale non è applicato da tutti
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ClaudeBot
Disallow: /
# Bot di ricerca AI: lasciali passare se vuoi essere citato
User-agent: OAI-SearchBot
Allow: /
User-agent: *
Disallow: /area-riservata/
Sitemap: https://www.tuosito.it/sitemap.xmlSe invece vuoi il contrario, cioè essere usato anche per il training, non serve scrivere nulla: senza regole la preferenza non è espressa. Puoi comunque dichiararlo con Allow: / sul token.
Su Next.js e WordPress
- Next.js: nel file
app/robots.tsaggiungi una regola conuserAgent: '__usage_ai-training'edisallow: '/'. Il token è una stringa come le altre. - WordPress: se il robots.txt lo genera un plugin SEO, aggiungi il gruppo dalla sua schermata di modifica. Se c'è un file fisico nella root, quello ha la precedenza sul file virtuale.
Lo stesso discorso vale per il file llms.txt: robots.txt dice cosa puoi fare con i contenuti, llms.txt aiuta le AI a trovare quelli giusti. Sono due file diversi con due compiti diversi.
Bing: le regole per pagina e la scadenza del 1 marzo 2027
Microsoft è andata oltre il token comune e ha aggiunto preferenze a livello di singola pagina, con meta tag o header HTTP:
<meta name="Bingbot" content="ai-training:disallow">
X-Robots-Tag: Bingbot: ai-training:disallowPer il grounding c'è ai-grounding:disallow, che toglie la pagina dalle risposte AI, e il nuovo ai-grounding:disallowextended, che la lascia nei prodotti Microsoft (Copilot, Bing, Microsoft 365) ma la esclude dai servizi di grounding venduti a terzi.
Se usi NoArchive o NoCache
Questi due tag finora valevano come rifiuto di training e grounding su Bing. Le date da segnare:
- 15 dicembre 2026: in Bing Webmaster Tools si apre la preferenza temporanea di grounding, solo per chi usa già NoArchive o NoCache.
- 1 febbraio 2027: le nuove preferenze iniziano a valere durante la scansione.
- 1 marzo 2027: dopo questa data NoArchive e NoCache non contano più per training e grounding. Se non hai pubblicato le nuove regole, il default diventa "consentito".
- 30 settembre 2027: scadono le preferenze temporanee.
Attenzione: Microsoft avverte che negare il grounding riduce la visibilità del brand nelle esperienze AI.
Il robots.txt AI protegge davvero i tuoi contenuti?
Solo in parte. Il segnale è volontario: lo rispetta chi ha deciso di rispettarlo. Uno scraper che ignora il robots.txt continuerà a farlo.
Per quelli servono un firewall o un servizio di gestione dei bot a livello di rete.
C'è però un aspetto legale che in Europa conta. La direttiva UE 2019/790 sul diritto d'autore permette di riservarsi i diritti sul text and data mining con strumenti leggibili da una macchina.
Google ricorda che il Codice di condotta UE per i modelli di AI per finalità generali riconosce il robots.txt come strumento principale per esprimere queste preferenze.
Avere una regola chiara e datata nel file ha quindi anche un valore documentale.
Se ti interessa il lato dei dati personali, e non dei contenuti del sito, ho scritto una guida su come evitare che ChatGPT usi i tuoi dati per l'addestramento.
Come verificare il robots.txt AI dopo la modifica
- Apri il file all'indirizzo
tuosito.it/robots.txte controlla che il gruppo del token ci sia davvero, scritto con i due trattini bassi iniziali. - Controlla il report robots.txt in Search Console per vedere che Google abbia letto l'ultima versione senza errori.
- Guarda i log del server cercando GPTBot, ClaudeBot e OAI-SearchBot per capire chi passa e quanto spesso.
- Verifica il firewall: plugin di sicurezza e protezioni anti bot possono bloccare anche i bot di ricerca che volevi lasciare entrare.
- Misura la presenza nelle risposte AI con il report sull'AI generativa di Search Console prima e dopo la modifica.
Cosa conviene fare a una PMI italiana
La mia risposta breve: per la maggior parte delle aziende che vivono di contatti, ha senso usare il robots.txt AI per negare il training e lasciare aperta la ricerca AI. Il training non ti porta clienti, le citazioni in ChatGPT, Copilot e nelle AI Overviews sì.
Diverso il caso di chi vende il contenuto stesso: editori, corsi online, banche dati, listini riservati. Lì ha senso essere più restrittivi, anche sul grounding, accettando di perdere un po' di visibilità.
Se gestisci più siti o un e-commerce, metti la modifica in calendario adesso e ricontrolla a febbraio 2027, quando Microsoft e poi Google inizieranno a leggerla.
Se vuoi una mano a impostarla insieme alla SEO tecnica del sito o a capire come le AI leggono i tuoi contenuti nei progetti di automazione AI, scrivimi.
Leggi anche
- llms.txt nel 2026: serve davvero? Cosa cambia con la v2
- AI Overviews a tutta pagina: cosa resta dei tuoi clic
- Search Console: il report AI è per tutti, come leggerlo
- Spam update settembre 2026: perché questa volta è diverso
In sintesi
Il token __usage_ai-training è la prima regola robots.txt AI condivisa dai grandi provider: una riga al posto di tante.
Aggiungilo oggi, ma tieni le regole per GPTBot, Google-Extended e ClaudeBot finché OpenAI, Google e Microsoft non lo applicano davvero.
Prima di bloccare, decidi se vuoi fermare il training o sparire dalle risposte AI: sono due scelte diverse, con effetti molto diversi sui contatti.
