robots.txt AI: regula unica ce blocheaza antrenarea AI

Din 30 octombrie 2026 exista o singura regula in robots.txt prin care le spui companiilor AI sa nu foloseasca site-ul tau la antrenarea modelelor: se numeste __usage_ai-training. Google, OpenAI si Microsoft au anuntat ca o vor respecta, iar propunerea tehnica a scris-o un inginer de la Anthropic. Sunt doua randuri.

Problema: astazi niciunul dintre cei trei nu o aplica oficial, deci regulile vechi pentru GPTBot, Google-Extended si ClaudeBot raman necesare.

In ghidul asta iti explic ce face noul semnal robots.txt AI, ce nu face, de cand functioneaza la fiecare furnizor si ce robots.txt as pune azi pe site-ul unei firme din Romania.

Plus diferenta pe care aproape toate articolele o sar: blocarea antrenarii nu inseamna ca dispari din ChatGPT sau din raspunsurile AI ale Google.

Ce este __usage_ai-training, noua regula robots.txt AI

__usage_ai-training este un policy token: un nume pe care il pui pe randul User-Agent din robots.txt, ca pentru un bot. Nu este numele unui crawler real. Exprima doar o preferinta: "continutul de pe aceste cai nu il folosi la antrenarea modelelor de AI generativa".

Sintaxa regulii robots.txt AI este cea clasica. Exemplul din draftul oficial:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Adica: fara antrenare pe tot site-ul, cu exceptia folderului /press-kit/, unde antrenarea este permisa explicit.

Cine l-a propus si ce valoare are

• Draftul se numeste "Machine-Readable Training Preference Signal", e semnat de un inginer Anthropic si a fost publicat pe 30 octombrie 2026.
• Contextul este grupul de lucru AI Preferences (AIPREF) din IETF, organizatia care standardizeaza protocoalele internetului.
• Statutul: e un draft individual, nu un standard. Expira pe 3 mai 2027 daca nu e actualizat.
• Definitia antrenarii este cea IETF: folosirea unui continut pentru a modifica parametrii unui model de AI generativa. Modelele care doar clasifica sau ordoneaza rezultate nu intra aici.

De cand functioneaza robots.txt AI: calendarul pe furnizori

Aici e detaliul pe care titlurile din presa nu il spun. Anuntul e comun, dar fiecare porneste cand vrea.

• OpenAI: va implementa semnalul "in lunile urmatoare", fara data. Regulile pentru GPTBot si OAI-SearchBot raman valabile.
• Google: tinteste anul 2027. Cand il va suporta, un Disallow pe token, daca nu ai reguli pentru Google-Extended, va fi tratat ca o blocare Google-Extended.
• Microsoft: singurul cu o data clara. Din 1 februarie 2027 Bing citeste noile preferinte pe masura ce recrawleaza paginile.
• Anthropic: a scris propunerea, dar nu am gasit o data oficiala de aplicare. Pana atunci pastreaza regula pentru ClaudeBot.

Concluzia: daca adaugi azi regula robots.txt AI, nu strici nimic, pentru ca e gandita sa fie ignorata fara efecte de cine nu o cunoaste. Dar singura, azi, nu ajunge.

Daca blochezi antrenarea AI, dispari din Google sau din ChatGPT?

Nu. Si e cea mai importanta intrebare inainte sa modifici fisierul. AI-ul iti foloseste continutul in doua feluri.

• Antrenare (training): textul intra in datele cu care se antreneaza un model viitor. Nu aduce citari si nici clickuri.
• Cautare si raspunsuri (grounding): AI-ul citeste pagina cand raspunde si deseori te citeaza cu link. Asta aduce vizibilitate.

Noul token se refera doar la antrenare. La fiecare furnizor:

• OpenAI separa GPTBot (antrenare) de OAI-SearchBot (cautare in ChatGPT). Poti bloca primul si lasa al doilea: ramai in rezultatele ChatGPT Search.
• Google: Google-Extended nu influenteaza prezenta sau pozitia in Cautarea Google. AI Overviews fac parte din Cautare si folosesc Googlebot.
• Microsoft a separat antrenarea de grounding: poti refuza antrenarea si ramai eligibil pentru raspunsurile Copilot si Bing. Alegerile despre antrenare nu schimba eligibilitatea in rezultatele clasice Bing.

Cand analizez vizibilitatea unui site in raspunsurile AI, asta verific prima data.

Multe configurari "anti AI" blocheaza si botii de cautare si pierd citari pe care site-ul le-ar fi putut avea.

Greseala frecventa in robots.txt AI: User-agent *

Draftul spune clar: grupul User-Agent: * nu trebuie interpretat ca preferinta despre antrenare. Daca robots.txt-ul tau are doar reguli generale, pentru noul semnal nu ai exprimat nicio preferinta.

Inca trei detalii tehnice utile:

• Nu blocheaza crawlingul: tokenul spune cum se folosesc datele, nu interzice descarcarea paginilor. Pentru a limita crawlingul ai nevoie de reguli pe fiecare bot.
• Regulile specifice castiga: un furnizor poate considera regulile proprii (de exemplu Google-Extended) mai specifice decat tokenul comun.
• Fara reguli pe token inseamna fara preferinta: nici da, nici nu.

Fisierul robots.txt AI pe care l-as pune azi

O baza pentru cine vrea sa refuze antrenarea dar sa ramana citabil in raspunsurile AI. Este varianta pe care o propun de obicei firmelor care traiesc din cereri de oferta.

# Preferinta comuna pentru antrenare (semnal nou)
User-Agent: __usage_ai-training
Disallow: /

# Reguli specifice, pana cand semnalul e aplicat de toti
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Botii de cautare AI: lasa-i sa intre daca vrei sa fii citat
User-agent: OAI-SearchBot
Allow: /

User-agent: *
Disallow: /cont-client/

Sitemap: https://www.site-ul-tau.ro/sitemap.xml

Daca vrei invers, sa fii folosit si la antrenare, nu trebuie sa scrii nimic: fara reguli preferinta nu e exprimata. Poti totusi sa o declari cu Allow: / pe token.

Pe WordPress, WooCommerce si Next.js

• WordPress si WooCommerce: daca robots.txt e generat de un plugin SEO, adaugi grupul din ecranul lui de editare. Daca exista un fisier fizic in radacina, acela are prioritate fata de cel virtual.
• Shopify: robots.txt se modifica din tema, prin sablonul robots.txt.liquid.
• Next.js: in app/robots.ts adaugi o regula cu userAgent: '__usage_ai-training' si disallow: '/'.

Acelasi lucru e valabil pentru fisierul llms.txt: robots.txt spune ce ai voie sa faci cu continutul, llms.txt ajuta AI-ul sa gaseasca paginile potrivite. Doua fisiere, doua roluri diferite.

Bing: reguli pe pagina si termenul de 1 martie 2027

Microsoft a mers mai departe de tokenul comun si a adaugat preferinte la nivel de pagina, prin meta tag sau header HTTP:

<meta name="Bingbot" content="ai-training:disallow">
X-Robots-Tag: Bingbot: ai-training:disallow

Pentru grounding exista ai-grounding:disallow, care scoate pagina din raspunsurile AI, si noul ai-grounding:disallowextended, care o lasa in produsele Microsoft (Copilot, Bing, Microsoft 365) dar o exclude din serviciile de grounding vandute catre terti.

Daca folosesti NoArchive sau NoCache

Pana acum aceste doua taguri insemnau refuz de antrenare si grounding pe Bing. Datele de notat:

• 15 decembrie 2026: in Bing Webmaster Tools se deschide preferinta temporara de grounding, doar pentru site-urile care folosesc deja NoArchive sau NoCache.
• 1 februarie 2027: noile preferinte incep sa fie aplicate la crawling.
• 1 martie 2027: dupa aceasta data NoArchive si NoCache nu mai conteaza pentru antrenare si grounding. Fara reguli noi, valoarea implicita devine "permis".
• 30 septembrie 2027: expira preferintele temporare.

Microsoft avertizeaza ca refuzul de grounding reduce vizibilitatea brandului in experientele AI.

Robots.txt AI chiar iti protejeaza continutul?

Doar partial. Semnalul este voluntar: il respecta cine a decis sa il respecte. Un scraper care ignora robots.txt va continua sa o faca.

Pentru acestia ai nevoie de firewall sau de un serviciu de gestionare a botilor la nivel de retea.

Exista insa si o parte juridica, valabila in toata Uniunea Europeana, deci si in Romania.

Directiva UE 2019/790 privind dreptul de autor permite rezervarea drepturilor asupra text and data mining prin mijloace citibile de masina.

Google aminteste ca un Cod de conduita UE pentru modelele de AI de uz general recunoaste robots.txt ca instrument principal pentru aceste preferinte.

O regula clara in fisier are deci si valoare de dovada, de exemplu pentru un site de presa sau un magazin cu descrieri de produs scrise de tine.

Daca te intereseaza partea de date personale, nu continutul site-ului, am scris un ghid despre cum opresti antrenarea ChatGPT pe datele tale.

Cum verifici robots.txt AI dupa modificare

1. Deschide fisierul la site-ul-tau.ro/robots.txt si verifica daca grupul tokenului exista, scris cu cele doua liniute de subliniere la inceput.
2. Verifica raportul robots.txt din Google Search Console, ca sa vezi ca Google a citit ultima versiune fara erori.
3. Uita-te in logurile serverului dupa GPTBot, ClaudeBot si OAI-SearchBot, ca sa vezi cine trece si cat de des.
4. Verifica firewallul: pluginurile de securitate si protectiile anti bot pot bloca si botii de cautare pe care voiai sa ii lasi.
5. Masoara prezenta in raspunsurile AI inainte si dupa modificare, pe cateva intrebari reale ale clientilor tai.

Ce merita sa faca o firma din Romania

Raspunsul meu scurt: pentru majoritatea firmelor care traiesc din cereri de oferta, are sens sa foloseasca robots.txt AI ca sa refuze antrenarea si sa lase deschisa cautarea AI. Antrenarea nu iti aduce clienti, citarile in ChatGPT, Copilot si AI Overviews da.

Altfel stau lucrurile pentru cine vinde chiar continutul: publicatii online, cursuri, baze de date, liste de preturi pentru parteneri. Acolo merita sa fii mai strict, inclusiv pe grounding, acceptand ca pierzi putina vizibilitate.

Daca ai mai multe site-uri sau un magazin online, pune modificarea in calendar acum si verifica din nou in februarie 2027, cand Microsoft si apoi Google incep sa o citeasca.

Daca vrei ajutor sa o configurezi impreuna cu optimizarea SEO sau sa vezi cum citesc agentii AI continutul tau in proiectele de automatizari AI, scrie-mi.

Citeste si

• llms.txt in 2026: chiar are rost? Ce aduce nou v2
• ChatGPT date personale: cum opresti antrenarea modelelor
• Google spam update septembrie 2026: de ce e diferit
• Agenti AI pentru firme

Pe scurt

Tokenul __usage_ai-training este prima regula robots.txt AI comuna marilor furnizori: un rand in loc de multe.

Adauga-l azi, dar pastreaza regulile pentru GPTBot, Google-Extended si ClaudeBot pana cand OpenAI, Google si Microsoft il aplica efectiv.

Inainte sa blochezi, decide daca vrei sa opresti antrenarea sau sa dispari din raspunsurile AI: sunt doua alegeri diferite, cu efecte foarte diferite asupra clientilor.