Will blocking GPTBot remove me from ChatGPT?

According to OpenAI’s documentation, no. GPTBot collects training data; ChatGPT search uses OAI-SearchBot, and ChatGPT-User opens pages when someone asks. Block GPTBot if you don’t want to be in training data, and keep the other two allowed.

Which bots should I keep allowed to be cited by AI?

The search and user-triggered ones: OAI-SearchBot and ChatGPT-User (ChatGPT), PerplexityBot and Perplexity-User, Claude-SearchBot and Claude-User, Googlebot (Google Search, AI Overviews and AI Mode), Bingbot (Bing and Copilot) and Applebot.

Does Google-Extended control AI Overviews?

No. Google-Extended controls Gemini training and grounding in Gemini apps. AI Overviews and AI Mode are part of Google Search and follow Googlebot and snippet controls such as nosnippet.

Does robots.txt actually stop AI crawlers?

It’s a request, not a wall. OpenAI, Anthropic, Google, Perplexity and Apple say their crawlers respect it, but not every bot does. Firewalls and bot protection (Cloudflare, Vercel) can also block crawlers you allowed here.

Where do I upload the new robots.txt?

It has to be served at https://yourdomain/robots.txt. In Webflow it’s in Site settings, SEO tab. Most site builders have a similar field in their SEO settings; on WordPress, an SEO plugin or a file at the root of the site.

Gratis tool

Een robots.txt voor AI-zoekmachines.

Begin met je huidige bestand, beslis per bot en krijg een nieuw robots.txt met alleen de wijzigingen die je hebt gevraagd, regel voor regel weergegeven.

1. Jouw huidige robots.txt

Plak het hier (robots.txt)

2. Kies wat elke AI-bot mag doen

Zoek- en antwoordmachines

Deze indexeren pagina's om vragen te beantwoorden. Als je ze blokkeert, word je niet meer opgenomen in hun antwoorden.

OAI-SearchBot · OpenAI momenteel toegestaan
ChatGPT-zoekresultaten
PerplexityBot · Perplexity momenteel toegestaan
Perplexity-zoekindex en citaten
Claude-SearchBot · Anthropic momenteel toegestaan
Claude-zoekresultaten
Googlebot · Google momenteel toegestaan
Google Zoeken, inclusief AI Overviews en AI-modus
Bingbot · Microsoft momenteel toegestaan
Bing en Copilot; de index van Bing is tevens een van de bronnen die andere assistenten gebruiken
Applebot · Apple momenteel toegestaan
Siri, Spotlight- en Safari-suggesties
DuckAssistBot · DuckDuckGo momenteel toegestaan
AI-ondersteunde antwoorden van DuckDuckGo

Door de gebruiker geactiveerde ophaalprogramma's

Deze openen een pagina wanneer iemand er een vraag over stelt aan een assistent.

ChatGPT-User · OpenAI momenteel toegestaan
pagina's die ChatGPT opent wanneer een gebruiker erom vraagt
Perplexity-User · Perplexity momenteel toegestaan
pagina's die Perplexity opent wanneer een gebruiker erom vraagt
Claude-User · Anthropic momenteel toegestaan
pagina's die Claude opent wanneer een gebruiker erom vraagt
Meta-ExternalFetcher · Meta momenteel toegestaan
pagina's die Meta AI opent wanneer een gebruiker een link deelt of er een vraag over stelt
MistralAI-User · Mistral momenteel toegestaan
pagina's die Le Chat opent wanneer een gebruiker erom vraagt

Training-crawlers

Deze verzamelen gegevens om modellen te trainen. Ze blokkeren is een legitieme keuze en zorgt er niet voor dat je uit de zoekresultaten wordt verwijderd.

GPTBot · OpenAI momenteel toegestaan
trainen van OpenAI-modellen
ClaudeBot · Anthropic momenteel toegestaan
trainen van Anthropic-modellen
Google-Extended · Google momenteel toegestaan
Gemini-training en -grounding in Gemini-apps; dit beheert NIET AI Overviews (die volgen Googlebot en nosnippet)
Applebot-Extended · Apple momenteel toegestaan
training van Apple's basismodellen
CCBot · Common Crawl momenteel toegestaan
Common Crawl, een publieke dataset die wordt gebruikt om veel modellen te trainen
Meta-ExternalAgent · Meta momenteel toegestaan
training van Meta AI-modellen
Bytespider · ByteDance momenteel toegestaan
training van ByteDance-modellen

3. Je nieuwe robots.txt

3 regels gewijzigd

+ toegevoegd− verwijderd

+User-agent: *
+Allow: /
−

Upload het als robots.txt in de root van je domein en vervang het huidige bestand. Voer daarna de AI crawler checker uit om te bevestigen. Open de AI crawler checker

Leesbaarheid is stap één. Word je geciteerd?

Het gratis rapport stelt maximaal vijf vragen van je kopers aan drie AI-engines en laat zien wie er in jouw plaats wordt geciteerd.

Ontvang het gratis rapport

Betaalde abonnementen controleren elke week je robots.txt, firewalls en nog zo'n 30 andere zaken. Bekijk abonnementen

Hoe deze generator werkt

Allow verwijdert alleen de regels die de bot van de hele site blokkeren. Sectieregels die zijn overgenomen van de *-groep (zoals /admin/) blijven behouden.
Block voegt een eigen groep toe met Disallow: / aan het einde en verwijdert de bot uit de groepen die hij deelde, zonder de andere agents in die groepen aan te passen. Als hij al volledig was geblokkeerd, verandert er niets.
Keep laat de bot precies zoals hij was. Reacties, sitemaps, de *-groep en regels voor agents die niet op de lijst staan, worden niet aangeraakt.
Vervolgens evalueren we het nieuwe bestand opnieuw met dezelfde RFC 9309-parser die de AI crawler checker gebruikt, pad voor pad.
Alles draait in je browser. Om de robots.txt van je domein te lezen, haalt onze server deze één keer op (5 redirects, 8 seconden, maximaal 500 KiB).

Veelgestelde vragen

Vragen over robots.txt en AI crawlers.

Wat mensen vaak vragen voordat ze beginnen. Ontbreekt er iets? Stuur ons een bericht.

Stuur ons een bericht

Verwijdert het blokkeren van GPTBot mij uit ChatGPT?

Volgens de documentatie van OpenAI: nee. GPTBot verzamelt trainingsdata; ChatGPT search gebruikt OAI-SearchBot en ChatGPT-User opent pagina's wanneer iemand daarom vraagt. Blokkeer GPTBot als je niet in de trainingsdata wilt staan, en laat de andere twee toe.

Welke bots moet ik toegestaan laten om geciteerd te worden door AI?

De zoek- en door gebruikers aangestuurde bots: OAI-SearchBot en ChatGPT-User (ChatGPT), PerplexityBot en Perplexity-User, Claude-SearchBot en Claude-User, Googlebot (Google Zoeken, AI Overviews en AI Mode), Bingbot (Bing en Copilot) en Applebot.

Bepaalt Google-Extended AI Overviews?

Nee. Google-Extended regelt de training van Gemini en de grounding in Gemini-apps. AI Overviews en AI Mode maken deel uit van Google Zoeken en volgen Googlebot- en snippet-instellingen zoals nosnippet.

Stopt robots.txt AI-crawlers echt?

Het is een verzoek, geen muur. OpenAI, Anthropic, Google, Perplexity en Apple zeggen dat hun crawlers het respecteren, maar niet elke bot doet dat. Firewalls en bot-bescherming (Cloudflare, Vercel) kunnen ook crawlers blokkeren die je hier hebt toegestaan.

Waar upload ik de nieuwe robots.txt?

Deze moet geserveerd worden op https://jouwdomein/robots.txt. In Webflow vind je dit onder Site-instellingen, tabblad SEO. De meeste websitebouwers hebben een soortgelijk veld in hun SEO-instellingen; op WordPress gebruik je een SEO-plugin of plaats je het bestand in de root van de site.

Meer vragen?Wij antwoorden zelf, meestal dezelfde dag nog.