Um robots.txt para motores de busca de IA.
Começa a partir do teu ficheiro atual, decide bot a bot e obtém um novo robots.txt apenas com as alterações que pediste, mostradas linha a linha.
1. O teu robots.txt atual
2. Escolha o que cada bot de IA pode fazer
Mecanismos de busca e resposta
Eles indexam páginas para responder a perguntas. Bloqueá-los remove você das respostas deles.
OAI-SearchBot· OpenAI permitido agoraResultados de pesquisa do ChatGPT
PerplexityBot· Perplexity permitido agoraÍndice de pesquisa e citações do Perplexity
Claude-SearchBot· Anthropic permitido agoraResultados de pesquisa do Claude
Googlebot· Google permitido agoraPesquisa Google, incluindo Visões Gerais de IA e Modo IA
Bingbot· Microsoft permitido agoraBing e Copilot; o índice do Bing também é uma das fontes usadas por outros assistentes
Applebot· Apple permitido agoraSugestões da Siri, Spotlight e Safari
DuckAssistBot· DuckDuckGo permitido agoraRespostas com assistência de IA do DuckDuckGo
Fetchers acionados pelo usuário
Eles abrem uma página quando alguém pergunta a um assistente sobre ela.
ChatGPT-User· OpenAI permitido agorapáginas que o ChatGPT abre quando um usuário solicita
Perplexity-User· Perplexity permitido agorapáginas que o Perplexity abre quando um usuário solicita
Claude-User· Anthropic permitido agorapáginas que o Claude abre quando um usuário solicita
Meta-ExternalFetcher· Meta permitido agorapáginas que a Meta AI abre quando um usuário compartilha ou pergunta sobre um link
MistralAI-User· Mistral permitido agorapáginas que o Le Chat abre quando um usuário solicita
Crawlers de treinamento
Eles coletam dados para treinar modelos. Bloqueá-los é uma escolha legítima e não remove você das respostas de pesquisa.
GPTBot· OpenAI permitido agoratreinamento de modelos da OpenAI
ClaudeBot· Anthropic permitido agoratreinamento de modelos da Anthropic
Google-Extended· Google permitido agoraTreino e fundamentação do Gemini em apps do Gemini; NÃO controla as Visões Gerais de IA (estas seguem as diretrizes do Googlebot e nosnippet)
Applebot-Extended· Apple permitido agoratreinamento de modelos de base da Apple
CCBot· Common Crawl permitido agoraCommon Crawl, um conjunto de dados público usado para treinar muitos modelos
Meta-ExternalAgent· Meta permitido agoratreino de modelos de IA da Meta
Bytespider· ByteDance permitido agoratreino de modelos da ByteDance
3. O seu novo robots.txt
3 linhas alteradas
+ adicionado− removido
User-agent: *Allow: /
Carregue-o como robots.txt na raiz do seu domínio, substituindo o atual. Depois, execute o verificador de crawlers de IA para confirmar. Abrir o verificador de crawlers de IA
Ser legível é o primeiro passo. Está a ser citado?
O relatório gratuito faz até cinco perguntas dos seus compradores em três motores de IA e mostra quem está a ser citado em seu lugar.
Receber o relatório gratuitoOs planos pagos verificam o robots.txt, firewalls e mais 30 itens todas as semanas. Ver planos
Como funciona este gerador
- Permitir (Allow) remove apenas as regras que bloqueiam o bot de todo o site. As regras de secção herdadas do grupo * (como /admin/) permanecem.
- Bloquear (Block) adiciona o seu próprio grupo com Disallow: / no final e remove o bot dos grupos que partilhava, sem tocar nos outros agentes neles contidos. Se já estava totalmente bloqueado, nada muda.
- Manter (Keep) deixa o bot exatamente como estava. Comentários, sitemaps, o grupo * e regras para agentes que não estão na lista não são alterados.
- Depois, reavaliamos o novo ficheiro com o mesmo parser RFC 9309 que o verificador de crawlers de IA utiliza, caminho a caminho.
- Tudo é executado no seu navegador. Para ler o robots.txt do seu domínio, o nosso servidor busca-o uma vez (5 redirecionamentos, 8 segundos, 500 KiB no máximo).
Perguntas sobre robots.txt e crawlers de IA.
O que as pessoas perguntam antes de começar. Se faltar algo, escreva-nos.
Escreva-nosBloquear o GPTBot vai remover-me do ChatGPT?
De acordo com a documentação da OpenAI, não. O GPTBot recolhe dados de treino; a pesquisa do ChatGPT usa o OAI-SearchBot, e o ChatGPT-User abre páginas quando alguém pede. Bloqueie o GPTBot se não quiser estar nos dados de treino e mantenha os outros dois permitidos.
Que bots devo manter permitidos para ser citado pela IA?
Os de pesquisa e os acionados pelo utilizador: OAI-SearchBot e ChatGPT-User (ChatGPT), PerplexityBot e Perplexity-User, Claude-SearchBot e Claude-User, Googlebot (Pesquisa Google, Visões Gerais de IA e Modo IA), Bingbot (Bing e Copilot) e Applebot.
O Google-Extended controla os AI Overviews?
Não. O Google-Extended controla o treinamento do Gemini e a base de conhecimento nos aplicativos Gemini. Os AI Overviews e o AI Mode fazem parte da Busca do Google e seguem o Googlebot e controles de snippet, como o nosnippet.
O robots.txt impede realmente os crawlers de IA?
É um pedido, não um muro. A OpenAI, Anthropic, Google, Perplexity e Apple dizem que os seus crawlers respeitam-no, mas nem todos os bots o fazem. Firewalls e proteção contra bots (Cloudflare, Vercel) também podem bloquear crawlers que autorizou aqui.
Onde carrego o novo robots.txt?
Tem de estar acessível em https://oseudominio/robots.txt. No Webflow, encontra-se nas definições do site, separador SEO. A maioria dos construtores de sites tem um campo semelhante nas suas definições de SEO; no WordPress, um plugin de SEO ou um ficheiro na raiz do site.
English
Français
Deutsch
Italiano
Português
Nederlands