Crawlere AI pe site-ul tău: GPTBot, llms.txt și robots.txt

Aproape orice site cu trafic primește azi vizite de la crawlere AI, iar cele mai multe echipe iau una dintre două decizii proaste: le blochează pe toate „ca să nu ne fure conținutul" sau nu fac nimic pentru că „oricum nu poți controla". Ambele pornesc de la aceeași confuzie — că ar exista un singur tip de robot AI. Sunt trei, cu efecte complet diferite asupra afacerii tale, iar robots.txt nu se aplică la fel pentru toate.

Trei tipuri de acces, nu unul singur

Înainte de orice regulă scrisă într-un fișier, separă cele trei motive pentru care un sistem AI ajunge la pagina ta:

1. Antrenare. Conținutul e colectat pentru a fi folosit la antrenarea unor modele viitoare. Nu îți aduce niciun vizitator azi și nici o citare mâine.
2. Indexare pentru căutarea AI. Conținutul e citit pentru a putea fi afișat și citat în răspunsurile generate: în căutarea din ChatGPT, în modul de căutare al altor asistenți. Aici se joacă vizibilitatea ta.
3. Vizită pornită de un om. Cineva a pus o întrebare, iar asistentul deschide pagina ta pe loc, ca să răspundă cu sursă. Nu e răzuire de conținut, e trafic intermediat — un vizitator real, care a ajuns la tine prin altă interfață.

Cine blochează totul cu o singură linie în robots.txt taie și punctele 2 și 3, adică exact partea care aduce oameni. Cine nu blochează nimic acceptă implicit punctul 1. Decizia corectă e aproape întotdeauna selectivă, iar pentru a o lua ai nevoie să știi ce nume poartă fiecare robot. Modul în care conținutul tău ajunge (sau nu) în răspunsurile generate e o disciplină în sine — partea de vizibilitate e tratată separat, în ghidul de SEO, AEO și GEO și, sistematic, în cursul SEO, AEO și GEO în era AI. Aici ne uităm strict la stratul tehnic de acces.

Cine sunt, de fapt, boții care îți vizitează site-ul

Numele contează, pentru că fiecare furnizor separă rolurile în user-agenți diferiți, tocmai ca să poți spune „da" la unul și „nu" la altul.

OpenAI

Documentația oficială listează patru agenți, fiecare cu propriul rol și cu propria listă de adrese IP publicate:

Ultima coloană de pe rândul al treilea e cea mai importantă frază tehnică din tot articolul. ChatGPT-User nu e un crawler care indexează: e brațul lung al unui om care a cerut ceva. De aceea nu îl poți trata ca pe GPTBot, iar dacă îți construiești politica pornind de la ideea că „robots.txt oprește tot", vei ajunge la concluzii greșite despre ce se întâmplă în log-uri.

Anthropic

Trei agenți, cu aceeași logică de separare: ClaudeBot colectează conținut pentru antrenare și dezvoltare, Claude-User susține căutările și preluările de conținut pornite de utilizator în Claude, iar Claude-SearchBot indexează conținutul pentru calitatea rezultatelor de căutare. Documentația oficială spune explicit că roboții „respectă semnalele de tip «nu accesa» prin directivele standard din robots.txt" și publică lista de adrese IP într-un fișier dedicat.

Google

Aici e capcana în care cad cele mai multe echipe. Google-Extended nu are user-agent propriu — e doar un simbol pe care îl scrii în robots.txt pentru a controla dacă acel conținut poate fi folosit la antrenarea și fundamentarea răspunsurilor din alte sisteme Google. Documentația spune fără echivoc: „Google-Extended nu afectează includerea unui site în Căutarea Google și nu este folosit ca semnal de clasare." Separat, Google-CloudVertexBot accesează site-uri pentru construirea de agenți în Vertex AI.

Restul listei

În log-uri vei mai vedea PerplexityBot, bingbot, roboți de la rețele sociale și crawlere de arhivă. Regula de igienă e simplă: înainte de a scrie o linie despre un user-agent, caută documentația oficială a furnizorului lui. Numele de bot sunt banal de falsificat, iar jumătate din listele care circulă pe bloguri conțin agenți care nu mai există sau nu au existat niciodată.

Ce am văzut, concret, în log-urile noastre

Teoria de mai sus se verifică ușor pe date proprii. Am analizat log-urile de acces ale cursuri-ai.ro pe un interval de trei zile din iulie 2026, aproximativ 6.850 de cereri, filtrate pe user-agent. Rezultatul, în ordinea numărului de cereri:

• Googlebot — 232
• ChatGPT-User — 186
• bingbot — 134
• ClaudeBot — 118
• PerplexityBot — 99
• OAI-SearchBot — 57
• GPTBot — 13

Toate au primit răspuns 200; niciun bot nu a lovit vreo eroare. Două observații care schimbă decizia:

Prima: botul care a cerut cel mai mult conținut dintre cele AI nu e cel de antrenare, ci cel pornit de utilizatori. ChatGPT-User a depășit ca volum GPTBot de peste zece ori. Asta înseamnă că oameni reali întrebau despre subiectele noastre, iar asistentul deschidea paginile ca să răspundă. O politică de tipul „blocăm tot ce miroase a AI" ar fi tăiat această categorie prima, pentru că e cea mai vizibilă în log-uri.

A doua: paginile cele mai cerute de aceste crawlere au fost articolele de blog cu subiect îngust și verificabil — nu pagina de prețuri, nu pagina de contact. Conținutul care răspunde la o întrebare precisă e cel care ajunge în răspunsurile generate.

Fă exercițiul pe site-ul tău înainte de a scrie o singură linie de politică. Îți ia o oră și înlocuiește o discuție de principiu cu o decizie informată.

robots.txt: ce poate și ce nu poate

robots.txt e un protocol de excludere standardizat (RFC 9309). Trei lucruri de reținut înainte de a-l edita:

Nu e un mecanism de securitate. E o convenție pe care roboții politicoși o respectă voluntar. Nu protejează conținut sensibil — pentru asta ai nevoie de autentificare, nu de un fișier text public. Mai mult, ce scrii acolo e vizibil pentru oricine, inclusiv lista de directoare pe care „nu vrei să le vadă nimeni".

Se aplică pe grupuri de user-agent, iar cel mai specific grup câștigă. Dacă ai un grup pentru GPTBot și unul pentru *, robotul OpenAI îl citește doar pe primul — regulile din * nu se adaugă la el, ci sunt ignorate complet pentru acel agent. Aici se produc cele mai multe erori de configurare: cineva adaugă un Disallow general crezând că se aplică peste tot.

Nu oprește acțiunile pornite de utilizator, cel puțin după documentația OpenAI citată mai sus.

Trei politici, cu efectele lor

Politica deschisă — vrei vizibilitate maximă, accepți antrenarea:

User-agent: *
Allow: /

Politica selectivă — cea recomandată pentru majoritatea afacerilor: refuzi antrenarea, păstrezi vizibilitatea în căutarea AI.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Politica închisă — ai conținut cu valoare comercială directă, pe care nu vrei să îl vezi rezumat în altă interfață. Blochezi și agenții de căutare AI, cu prețul de a dispărea din răspunsurile generate. E o decizie legitimă pentru publisheri și baze de date proprietare, dar trebuie luată în cunoștință de cauză, nu din reflex.

Pentru cazurile în care vrei granularitate — antrenarea interzisă pe secțiunea de documentație, permisă pe blog — folosește căi, nu doar /:

User-agent: GPTBot
Disallow: /docs/
Disallow: /clienti/
Allow: /blog/

Google-Extended nu te scoate din AI Overviews

Aceasta e cea mai costisitoare neînțelegere din zona asta, pentru că duce la o falsă senzație de control.

Google-Extended guvernează antrenarea și fundamentarea răspunsurilor în alte sisteme Google. Rezumatele generate din Căutare sunt altceva: documentația Google e explicită că „AI este integrată în Căutare și esențială pentru modul în care funcționează Căutarea", motiv pentru care controalele obișnuite rămân mecanismul principal. Pentru a limita informația afișată din paginile tale, Google indică nosnippet, data-nosnippet, max-snippet sau noindex.

Consecința practică e neplăcută: aceste controale nu sunt chirurgicale. nosnippet îți scoate fragmentul din rezultatele obișnuite, nu doar din rezumatul generat. Nu există, la momentul scrierii, un buton care să spună „rămân în rezultate, dar ies din rezumatul AI" fără costuri colaterale. Cine îți promite altceva vinde iluzii.

Ce poți face, în schimb, e să folosești data-nosnippet chirurgical, pe fragmentele care chiar nu trebuie citate în afara contextului: definiții-cheie, tabele de prețuri, concluziile unui studiu propriu. Restul paginii rămâne eligibil.

llms.txt: ce este și de ce nu îți rezolvă problema

llms.txt e un fișier propus ca standard: un index în Markdown, plasat în rădăcina site-ului, care spune sistemelor AI care sunt paginile importante și cum sunt organizate. Ideea e bună. Realitatea din 2026 e mai puțin entuziastă.

Niciun furnizor major de modele nu s-a angajat public să îl folosească drept semnal în produsele de căutare sau de răspuns, iar reprezentanți Google au declarat public că nu îl folosesc și nu intenționează să îl folosească, comparându-l cu vechea etichetă meta keywords — un semnal declarat de proprietarul site-ului, deci ușor de manipulat.

Unde chiar ajută: în documentația tehnică citită de asistenți de programare. Dacă vinzi un API sau o bibliotecă, un llms.txt bine făcut reduce numărul de pagini pe care un agent trebuie să le parcurgă până găsește referința corectă. E o unealtă de developer experience, nu un instrument de SEO.

Concluzia onestă: pune-l dacă ai documentație tehnică și îl poți menține automat. Nu îl pune ca înlocuitor pentru robots.txt, pentru date structurate sau pentru conținut bun. Și nu îl vinde nimănui drept „optimizare pentru AI".

Partea juridică: rezervarea drepturilor, nu doar preferința

Aici lucrurile devin serioase, pentru că un Disallow bine plasat nu e doar o preferință tehnică — poate fi și o rezervare de drepturi cu efect legal.

Directiva (UE) 2019/790 a introdus o excepție pentru extragerea de text și de date, transpusă în România prin modificările aduse Legii nr. 8/1996. Articolul 36² alineatul (1) permite reproducerile și extragerile din opere accesibile în mod legal în scopul extragerii textului și a datelor, iar alineatul (3) condiționează excepția de faptul ca utilizarea „să nu fi fost rezervată în mod expres de către titularii de drepturi în mod corespunzător, cum ar fi mijloace care pot fi citite automat în cazul conținutului făcut public online".

„Mijloace care pot fi citite automat" — asta e exact ce e robots.txt. Un Disallow pe agenții de antrenare, dublat de o clauză explicită în termenii site-ului, constituie o rezervare a drepturilor în sensul textului legal.

Cealaltă jumătate a mecanismului e în Regulamentul (UE) 2024/1689 privind inteligența artificială: furnizorii de modele de uz general trebuie să aibă o politică de respectare a legislației Uniunii în materie de drepturi de autor și, în special, să identifice și să respecte rezervările de drepturi exprimate potrivit articolului 4 alineatul (3) din directivă. Cu alte cuvinte, rezervarea ta nu rămâne un gest simbolic: are un destinatar cu obligații.

Ce înseamnă asta practic pentru o firmă din România:

1. Dacă vrei să te opui folosirii conținutului la antrenare, scrie-o în două locuri: în robots.txt (citibil automat) și în termenii și condițiile site-ului (citibil de om, util în orice dispută). Clauza intră firesc în setul de documente pe care o firmă din România le are oricum de actualizat — lista completă e în articolul despre pachetul de documente AI pentru firmă.
2. Nu confunda rezervarea cu interdicția de citare. Poți rezerva antrenarea și, în același timp, să îți dorești să fii citat în răspunsuri — sunt agenți diferiți, cu reguli diferite.
3. Dacă publici conținut al altcuiva (colaboratori, autori externi), verifică în contract cine deține dreptul de a face această rezervare.

Cadrul complet al drepturilor asupra conținutului creat sau folosit cu AI, cu textele legale aferente, e detaliat în articolul despre AI și dreptul de autor.

Acest articol are scop informativ și nu constituie consultanță juridică. Pentru decizii cu miză — licențiere de conținut, dispute, contracte de sindicalizare — consultați un avocat specializat în proprietate intelectuală.

Cum verifici că politica ta chiar funcționează

Scrierea fișierului e partea ușoară. Verificarea e cea care lipsește aproape întotdeauna.

Pasul 1 — citește-ți log-urile, nu presupune. Filtrează pe user-agent și numără cererile pe zi, pe bot și pe cod de răspuns. Dacă vezi 4xx pentru un bot pe care vrei să îl primești, ai o problemă de configurare, nu de politică. Dacă vezi 200 pentru un bot pe care credeai că l-ai blocat, verifică ordinea grupurilor din robots.txt.

Pasul 2 — validează identitatea botului. User-agentul e text liber: oricine poate pretinde că e GPTBot. Furnizorii serioși publică listele de adrese IP într-un format automatizabil (OpenAI și Anthropic publică fișiere JSON dedicate). Verifică IP-ul sursă înainte de a-i acorda tratament special.

Pasul 3 — testează cu propriile cereri. Un curl cu user-agentul respectiv îți arată ce primește botul: pagina completă, o pagină de consimțământ pentru cookie-uri sau un zid de JavaScript pe care nu îl poate executa. E o cauză frecventă de invizibilitate care nu are nicio legătură cu robots.txt.

Pasul 4 — verifică ce se vede din afară. Întreabă asistenții AI despre subiectele pe care le tratezi și uită-te dacă apari ca sursă. Dacă nu apari deloc, problema e mai des de conținut și de structură decât de acces.

Pasul 5 — pune verificarea în calendar. Furnizorii adaugă agenți noi (OAI-AdsBot e un exemplu recent) și își modifică documentația. O revizuire trimestrială de zece minute previne surprizele.

Ce se schimbă când infrastructura decide în locul tău

Un detaliu de care multe echipe află abia când se uită în log-uri: furnizorul de CDN poate avea propria politică. Cloudflare a anunțat pe 1 iulie 2025 că schimbă comportamentul implicit pentru a bloca crawlerele AI care nu plătesc pentru conținut, poziționând asta ca pe un pas către o piață în care accesul se negociază.

Concluzia operațională: înainte de a acuza robots.txt, verifică ce face stratul din fața aplicației. Un bot poate fi oprit de firewall, de regula de rate limiting sau de setarea implicită a CDN-ului, fără ca nimeni din echipă să fi decis asta explicit. Regula generală — infrastructura nu trebuie să ia decizii de business în locul tău, iar dacă o face, măcar să știi.

Cinci greșeli care se repetă

1. „Blocăm tot AI-ul." Taie exact traficul intermediat care aduce oameni. Separă antrenarea de căutare înainte de a decide.
2. Google-Extended folosit ca opt-out din rezumatele generate din Căutare. Nu face asta. Controalele care contează acolo sunt nosnippet și rudele lui, cu efecte laterale.
3. Grupuri suprapuse în robots.txt. Un agent citește un singur grup — cel mai specific. Regulile din * nu se adaugă.
4. llms.txt în locul muncii adevărate. Un fișier declarat de tine nu înlocuiește conținut structurat, date corecte și pagini care răspund la întrebări reale.
5. Politică fără verificare. Fișierul scris acum optsprezece luni, pe o listă de boți care între timp s-a schimbat, e o iluzie de control. Cine decide ce unelte AI ating datele firmei și în ce condiții e o discuție de guvernanță, tratată sistematic în cursul de politică de utilizare AI și securitatea datelor.

Întrebări frecvente

Î: Dacă blochez GPTBot, dispar din răspunsurile ChatGPT? R: Nu neapărat. GPTBot colectează conținut pentru antrenare, în timp ce afișarea site-urilor în căutarea din ChatGPT ține de OAI-SearchBot. Sunt agenți distincți, cu reguli distincte în robots.txt. Poți refuza antrenarea și rămâne eligibil pentru citare.

Î: Pot opri complet ChatGPT-User? R: Nu te baza pe robots.txt pentru asta — documentația OpenAI precizează că, fiind acțiuni inițiate de un utilizator, regulile din robots.txt pot să nu se aplice. Dacă ai un motiv solid, controlul se face la nivel de infrastructură, pe baza adreselor IP publicate. Întreabă-te însă întâi de ce ai bloca un vizitator real.

Î: Blocarea Google-Extended îmi scade pozițiile în Google? R: Nu. Documentația Google spune explicit că Google-Extended nu afectează includerea în Căutare și nu este folosit ca semnal de clasare. Ce nu face este să te scoată din rezumatele generate — acolo acționează nosnippet, data-nosnippet, max-snippet și noindex.

Î: Merită să pun llms.txt? R: Dacă ai documentație tehnică pe care o citesc asistenți de programare, da — reduce efortul lor de navigare. Ca instrument de vizibilitate în căutarea AI, nu: niciun furnizor major nu s-a angajat public să îl folosească drept semnal, iar reprezentanți Google au spus explicit că nu îl folosesc.

Î: Un Disallow în robots.txt are valoare juridică? R: Poate constitui rezervarea expresă a drepturilor prevăzută la articolul 36² alineatul (3) din Legea nr. 8/1996, care vorbește tocmai despre „mijloace care pot fi citite automat" pentru conținutul făcut public online. Recomandarea practică e să dublezi rezervarea și în termenii site-ului, într-o formulare explicită.

Î: Cum verific dacă un bot care spune că e GPTBot chiar este? R: Prin adresa IP. OpenAI și Anthropic publică listele de adrese folosite de roboții lor, în fișiere JSON destinate exact acestei verificări. User-agentul singur nu dovedește nimic.

Concluzie

Decizia despre crawlerele AI nu e o decizie tehnică, ci una de model de afacere, luată cu unelte tehnice. Întrebarea nu e „le lăsăm sau nu", ci „ce dăm gratuit, ce rezervăm și ce vrem în schimb".

Pentru majoritatea firmelor, răspunsul echilibrat arată așa: refuzi antrenarea prin robots.txt și prin termenii site-ului, păstrezi accesul agenților de căutare AI pentru că acolo se câștigă vizibilitate, nu blochezi vizitele pornite de utilizatori pentru că acelea sunt oameni, și îți verifici log-urile o dată pe trimestru pentru că lista de boți se schimbă mai repede decât politica ta.

Ce nu funcționează, indiferent de configurație: să speri că un fișier text îți rezolvă o problemă de conținut.

Surse

• OpenAI — prezentarea generală a crawlerelor (GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot): https://developers.openai.com/api/docs/bots
• Anthropic — accesarea datelor din web și blocarea crawlerelor: https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
• Google Search Central — crawlerele obișnuite Google și simbolul Google-Extended: https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
• Google Search Central — funcțiile AI din Căutare și controalele pentru conținut: https://developers.google.com/search/docs/appearance/ai-features
• Legea nr. 8/1996 privind dreptul de autor și drepturile conexe, Portal Legislativ: https://legislatie.just.ro/Public/DetaliiDocument/7816
• Regulamentul (UE) 2024/1689 privind inteligența artificială: https://eur-lex.europa.eu/legal-content/RO/TXT/?uri=CELEX:32024R1689
• Cloudflare — „Content Independence Day", 1 iulie 2025: https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/
• Specificația llms.txt: https://llmstxt.org/

Articol informativ, publicat la 30 august 2026. Datele din log-urile proprii se referă la un interval de trei zile din iulie 2026. Documentația furnizorilor de crawlere se modifică frecvent — verificați sursele oficiale înainte de a scrie reguli în producție.