Will blocking GPTBot remove me from ChatGPT?

According to OpenAI’s documentation, no. GPTBot collects training data; ChatGPT search uses OAI-SearchBot, and ChatGPT-User opens pages when someone asks. Block GPTBot if you don’t want to be in training data, and keep the other two allowed.

Which bots should I keep allowed to be cited by AI?

The search and user-triggered ones: OAI-SearchBot and ChatGPT-User (ChatGPT), PerplexityBot and Perplexity-User, Claude-SearchBot and Claude-User, Googlebot (Google Search, AI Overviews and AI Mode), Bingbot (Bing and Copilot) and Applebot.

Does Google-Extended control AI Overviews?

No. Google-Extended controls Gemini training and grounding in Gemini apps. AI Overviews and AI Mode are part of Google Search and follow Googlebot and snippet controls such as nosnippet.

Does robots.txt actually stop AI crawlers?

It’s a request, not a wall. OpenAI, Anthropic, Google, Perplexity and Apple say their crawlers respect it, but not every bot does. Firewalls and bot protection (Cloudflare, Vercel) can also block crawlers you allowed here.

Where do I upload the new robots.txt?

It has to be served at https://yourdomain/robots.txt. In Webflow it’s in Site settings, SEO tab. Most site builders have a similar field in their SEO settings; on WordPress, an SEO plugin or a file at the root of the site.

Free tool

Un robots.txt per i motori di ricerca IA.

Parti dal tuo file attuale, decidi bot per bot e ottieni un nuovo robots.txt con le sole modifiche richieste, mostrate riga per riga.

1. Il tuo robots.txt attuale

Incollalo (robots.txt)

2. Scegli cosa può fare ogni bot IA

Motori di ricerca e risposta

Indicizzano le pagine per rispondere alle domande. Bloccarli ti esclude dalle loro risposte.

OAI-SearchBot · OpenAI attualmente consentito
Risultati di ricerca di ChatGPT
PerplexityBot · Perplexity attualmente consentito
Indice di ricerca e citazioni di Perplexity
Claude-SearchBot · Anthropic attualmente consentito
Risultati di ricerca di Claude
Googlebot · Google attualmente consentito
Ricerca Google, inclusi Panoramiche IA e modalità IA
Bingbot · Microsoft attualmente consentito
Bing e Copilot; l'indice di Bing è anche una delle fonti utilizzate da altri assistenti
Applebot · Apple attualmente consentito
Siri, Spotlight e suggerimenti di Safari
DuckAssistBot · DuckDuckGo attualmente consentito
Risposte assistite dall'IA di DuckDuckGo

Fetcher attivati dall'utente

Aprono una pagina quando qualcuno chiede informazioni a un assistente.

ChatGPT-User · OpenAI attualmente consentito
pagine che ChatGPT apre quando un utente le richiede
Perplexity-User · Perplexity attualmente consentito
pagine che Perplexity apre quando un utente le richiede
Claude-User · Anthropic attualmente consentito
pagine che Claude apre quando un utente le richiede
Meta-ExternalFetcher · Meta attualmente consentito
pagine che Meta AI apre quando un utente condivide o chiede informazioni su un link
MistralAI-User · Mistral attualmente consentito
pagine che Le Chat apre quando un utente le richiede

Crawler di addestramento

Raccolgono dati per addestrare i modelli. Bloccarli è una scelta legittima e non ti esclude dalle risposte di ricerca.

GPTBot · OpenAI attualmente consentito
addestramento dei modelli OpenAI
ClaudeBot · Anthropic attualmente consentito
addestramento dei modelli Anthropic
Google-Extended · Google attualmente consentito
Addestramento e grounding di Gemini nelle app Gemini; NON controlla le Panoramiche AI (che seguono Googlebot e nosnippet)
Applebot-Extended · Apple attualmente consentito
addestramento dei modelli di base di Apple
CCBot · Common Crawl attualmente consentito
Common Crawl, un dataset pubblico utilizzato per addestrare molti modelli
Meta-ExternalAgent · Meta attualmente consentito
addestramento dei modelli Meta AI
Bytespider · ByteDance attualmente consentito
addestramento dei modelli ByteDance

3. Il tuo nuovo robots.txt

Modifica di 3 righe

+ aggiunto− rimosso

+User-agent: *
+Allow: /
−

Caricalo come robots.txt nella root del tuo dominio, sostituendo quello attuale. Poi esegui il controllo crawler AI per confermare. Apri il controllo crawler AI

La leggibilità è il primo passo. Sei citato?

Il report gratuito pone fino a cinque domande dei tuoi acquirenti su tre motori AI e mostra chi viene citato al posto tuo.

Ottieni il report gratuito

I piani a pagamento controllano robots.txt, firewall e oltre 30 altri elementi ogni settimana. Vedi i piani

Come funziona questo generatore

Allow rimuove solo le regole che bloccano il bot dall'intero sito. Le regole di sezione ereditate dal gruppo * (come /admin/) rimangono.
Block aggiunge un gruppo dedicato con Disallow: / alla fine e rimuove il bot dai gruppi condivisi, senza toccare gli altri agenti al loro interno. Se era già completamente bloccato, non cambia nulla.
Keep lascia il bot esattamente com'era. Commenti, sitemap, il gruppo * e le regole per gli agenti non in elenco non vengono toccati.
Successivamente, rivalutiamo il nuovo file con lo stesso parser RFC 9309 utilizzato dal controllo crawler AI, percorso per percorso.
Tutto viene eseguito nel tuo browser. Per leggere il robots.txt del tuo dominio, il nostro server lo recupera una volta (5 reindirizzamenti, 8 secondi, massimo 500 KiB).

FAQ

Domande su robots.txt e crawler AI.

Le domande che le persone pongono prima di iniziare. Se manca qualcosa, scrivici.

Scrivici

Bloccare GPTBot mi rimuoverà da ChatGPT?

Secondo la documentazione di OpenAI, no. GPTBot raccoglie dati di addestramento; la ricerca di ChatGPT utilizza OAI-SearchBot e ChatGPT-User apre le pagine quando qualcuno lo richiede. Blocca GPTBot se non vuoi essere nei dati di addestramento e tieni gli altri due consentiti.

Quali bot dovrei mantenere consentiti per essere citato dall'AI?

Quelli legati alla ricerca e all'input dell'utente: OAI-SearchBot e ChatGPT-User (ChatGPT), PerplexityBot e Perplexity-User, Claude-SearchBot e Claude-User, Googlebot (Ricerca Google, Panoramiche AI e AI Mode), Bingbot (Bing e Copilot) e Applebot.

Google-Extended controlla gli AI Overviews?

No. Google-Extended controlla l'addestramento e il grounding di Gemini nelle app di Gemini. Gli AI Overviews e la modalità AI fanno parte della Ricerca Google e seguono le direttive di Googlebot e i comandi per gli snippet come nosnippet.

robots.txt ferma davvero i crawler AI?

È una richiesta, non un muro. OpenAI, Anthropic, Google, Perplexity e Apple affermano che i loro crawler la rispettano, ma non tutti i bot lo fanno. Firewall e sistemi di protezione dai bot (Cloudflare, Vercel) possono anche bloccare crawler che hai consentito qui.

Dove carico il nuovo robots.txt?

Deve essere servito all'indirizzo https://tuodominio/robots.txt. In Webflow si trova nelle impostazioni del sito, scheda SEO. La maggior parte dei site builder ha un campo simile nelle impostazioni SEO; su WordPress, tramite un plugin SEO o un file nella root del sito.

Altre domande?Rispondiamo noi stessi, solitamente in giornata.