Monte um robots.txt com regras por rastreador, inclusive GPTBot, ClaudeBot e Google-Extended, e teste se uma URL está bloqueada, com a linha que decidiu.
O robots.txt é o arquivo na raiz do site (/robots.txt) em que você diz a cada rastreador quais caminhos ele pode pedir. O formato virou padrão da IETF em setembro de 2022, na RFC 9309, e é simples: grupos que começam com User-agent e seguem com linhas Allow e Disallow. Esta ferramenta gera o arquivo e também testa um robots.txt existente: você cola o texto, uma ou várias URLs e o nome do rastreador, e vê se a URL está liberada, qual regra decidiu e em que linha ela está. O teste decide como a RFC manda: vale o grupo do token do rastreador (sem diferenciar maiúsculas) e, se não houver, o grupo *; grupos do mesmo token são fundidos; um grupo específico não herda as regras do *. Entre as regras que casam com o caminho (mais a consulta), vence a de padrão mais longo, e num empate vence o Allow. O * casa qualquer sequência, o $ no fim ancora o final, e o percent-encoding é normalizado antes da comparação. O modo Google soma as tolerâncias do parser de código aberto dele: erros de digitação como disalow, linhas sem dois-pontos e a regra de que Allow: /pasta/index.html também libera /pasta/. O limite de leitura é de 500 KiB. A seção de bots de IA traz o token de cada fornecedor, conferido nas páginas oficiais em 18/10/2026, e separa três finalidades: treinamento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Amazonbot, meta-externalagent), busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) e acesso a pedido do usuário (ChatGPT-User, Claude-User, Perplexity-User). Bloquear o treino não tira o site das buscas, e os acessos a pedido do usuário podem ignorar o robots.txt, como avisam OpenAI, Perplexity, Meta e Amazon. Google-Extended e Applebot-Extended não rastreiam nada: só sinalizam uma preferência sobre dados que o Googlebot e o Applebot já coletaram. Para o Bytespider não foi possível abrir uma página oficial, e isso aparece marcado. Lembre que o robots.txt é um pedido, não uma barreira: não protege conteúdo e não remove páginas do índice. Tudo roda no navegador e o texto colado não é enviado.
Cole o código no seu HTML e a ferramenta aparece na sua página, sem a navegação e sem os anúncios do J-Kit. Ela continua rodando no navegador de quem visita o seu site.
<iframe
src="https://jkit.tools/embed/pt-BR/gerador-robots-txt"
width="100%"
height="600"
style="border:0"
loading="lazy"
title="Gerador e Testador de robots.txt (com Bots de IA)"
></iframe>Estas referências ajudam a contextualizar fórmulas, padrões, APIs e limitações usadas nesta página. Elas não substituem validação profissional quando o resultado tiver impacto jurídico, financeiro, médico ou operacional.
Escreva um grupo com o token de cada bot e Disallow: /, por exemplo User-agent: GPTBot seguido de Disallow: /. Vários User-agent seguidos compartilham as mesmas regras, então dá para listar todos de uma vez. O atalho Bloquear treino de IA marca GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, meta-externalagent e Amazonbot. É um pedido: os fornecedores dizem respeitá-lo, mas ele não impede o acesso técnico.
Cada bot tem seu próprio token. Bloquear o de treino não tira o site das buscas com IA, e o de busca é independente do de treino. Padrão = o bot segue as regras do grupo *.
Coletam conteúdo que pode treinar modelos de IA.
Coleta conteúdo que pode ser usado para treinar os modelos de IA generativa da OpenAI.
Indica que o conteúdo do site não deve ser usado no treinamento. Não tira o site das respostas de busca do ChatGPT (isso depende do OAI-SearchBot).
Segundo o fornecedor, segue o robots.txt. Página oficial: OpenAI
Coleta conteúdo da web que pode contribuir para o treinamento dos modelos da Anthropic.
Sinaliza que materiais futuros do site devem ficar fora dos conjuntos de treinamento. A Anthropic informa que aceita a extensão Crawl-delay.
Segundo o fornecedor, segue o robots.txt. Página oficial: Anthropic
Token de controle: define se o conteúdo que o Google já rastreia pode treinar futuras gerações do Gemini e embasar respostas nos apps Gemini e no Vertex AI. Não tem user-agent HTTP próprio.
Segundo o Google, não afeta a inclusão no Google Search nem é sinal de ranqueamento. A página do Google não menciona AI Overviews.
Segundo o fornecedor, segue o robots.txt. Página oficial: Google
Token de controle: não rastreia nada. Define como a Apple usa os dados que o Applebot já coletou, em particular para treinar modelos generativos de uso geral.
Tira o site do treinamento de modelos da Apple. As páginas ainda podem aparecer nos resultados de busca (Spotlight, Siri, Safari), que dependem do Applebot.
Segundo o fornecedor, segue o robots.txt. Página oficial: Apple
Rastreador da ByteDance. Não foi possível abrir uma página oficial da empresa que descreva o token, então a finalidade exata não está confirmada aqui.
Fontes de terceiros divergem sobre o respeito ao robots.txt. Sem fonte oficial, trate o bloqueio como um pedido, não como garantia.
A página do fornecedor não diz se segue o robots.txt. Sem página oficial confirmada.
Rastreia para treinar modelos de IA de fundação ou melhorar produtos indexando conteúdo diretamente.
A Meta indica o robots.txt como forma de bloquear; mudanças podem levar até 24 horas por causa de cache.
A página do fornecedor não diz se segue o robots.txt. Página oficial: Meta
Melhora produtos e serviços da Amazon; a Amazon diz que o conteúdo pode ser usado para treinar modelos de IA. Não aceita Crawl-delay.
Respeita Allow e Disallow do seu token; a meta tag noarchive também é respeitada (equivale a "não usar para treino"). Leva cerca de 24 horas.
Segundo o fornecedor, segue o robots.txt. Página oficial: Amazon
Montam um arquivo público de rastreamento da web.
Monta o Common Crawl, um acervo aberto de rastreamento da web, de uso livre por qualquer pessoa. A página do Common Crawl não trata de Crawl-delay.
Tira o site das próximas coletas do acervo. Existem rastreadores falsos que usam o nome CCBot; o Common Crawl publica faixas de IP para conferir.
Segundo o fornecedor, segue o robots.txt. Página oficial: Common Crawl
Indexam para as respostas de busca com IA e citam o site.
Mostra sites nos resultados da busca do ChatGPT.
O site deixa de aparecer nas respostas da busca do ChatGPT, mas ainda pode surgir como link de navegação. A OpenAI diz que o ajuste leva cerca de 24 horas.
Segundo o fornecedor, segue o robots.txt. Página oficial: OpenAI
Percorre a web para melhorar a qualidade dos resultados de busca do Claude.
Impede a indexação do conteúdo para a busca; pode reduzir a visibilidade e a precisão do site nos resultados.
Segundo o fornecedor, segue o robots.txt. Página oficial: Anthropic
Exibe e linka sites nos resultados de busca do Perplexity. A empresa diz que não é usado para treinar modelos de fundação.
O site deixa de ser indexado para os resultados do Perplexity. A empresa recomenda permitir o PerplexityBot. Mudanças levam até 24 horas.
Segundo o fornecedor, segue o robots.txt. Página oficial: Perplexity
Navega pela web para melhorar a qualidade da busca do Meta AI.
A Meta diz que permitir ajuda a citar e linkar seu conteúdo nas respostas do Meta AI.
A página do fornecedor não diz se segue o robots.txt. Página oficial: Meta
Controlado separadamente do Amazonbot. A Amazon diz que não rastreia conteúdo para treinar IA generativa.
Respeita Allow e Disallow do seu token.
Segundo o fornecedor, segue o robots.txt. Página oficial: Amazon
Abrem uma página porque uma pessoa pediu. Vários fornecedores avisam que o robots.txt pode não se aplicar (veja cada bot).
Abre páginas quando uma pessoa pede ao ChatGPT ou a um GPT personalizado, e em ações de GPTs. Não é rastreamento automático.
A OpenAI avisa que, por serem ações iniciadas pelo usuário, as regras do robots.txt podem não se aplicar. Não define a presença na busca.
O fornecedor avisa que pode ignorar o robots.txt. Página oficial: OpenAI
Acessa sites quando uma pessoa faz ao Claude uma pergunta que exige consultar a web.
Impede que o Claude busque o seu conteúdo para responder a uma pergunta; pode reduzir a visibilidade em buscas dirigidas pelo usuário.
Segundo o fornecedor, segue o robots.txt. Página oficial: Anthropic
Busca uma página quando uma pessoa faz uma pergunta e o Perplexity precisa linká-la na resposta. Não rastreia nem coleta para treino.
O Perplexity diz que, como foi o usuário quem pediu, esse acesso em geral ignora o robots.txt.
O fornecedor avisa que pode ignorar o robots.txt. Página oficial: Perplexity
Busca links individuais a pedido do usuário, para recursos de IA com agentes.
A Meta avisa que este acesso pode ignorar as regras do robots.txt.
O fornecedor avisa que pode ignorar o robots.txt. Página oficial: Meta
Acessa páginas por pedido de um usuário. A Amazon diz que não rastreia para treinar IA generativa.
A Amazon avisa que pode não seguir todas as diretivas do robots.txt, por agir a pedido do usuário.
O fornecedor avisa que pode ignorar o robots.txt. Página oficial: Amazon
Conferem as páginas de destino dos anúncios.
Visita só páginas enviadas como anúncio no ChatGPT, para conferir as políticas. Os dados não treinam modelos.
A página da OpenAI não descreve o efeito de bloquear.
A página do fornecedor não diz se segue o robots.txt. Página oficial: OpenAI
Lista conferida nas páginas oficiais dos fornecedores em 2026-10-18. Fornecedores mudam tokens sem aviso: confira antes de publicar.
User-agent: * Disallow: User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot User-agent: Bytespider User-agent: meta-externalagent User-agent: Amazonbot Disallow: /
Publique em https://seudominio/robots.txt, na raiz do host. Cada subdomínio e cada porta precisam do seu.
Para a URL selecionada acima: linha vencedora em destaque forte, outras regras que casaram em amarelo e o restante do grupo aplicado em tom suave.
Resultado das primeiras 6 URLs para o Googlebot, o Bingbot e cada bot de IA da lista.
| Rastreador | / | /admin/users | /admin/public/logo.png | /blog/post?id=7 |
|---|---|---|---|---|
| Googlebot | Liberada | Bloqueada | Liberada | Liberada |
| Bingbot | Liberada | Bloqueada | Liberada | Liberada |
| GPTBot | Bloqueada | Bloqueada | Bloqueada | Bloqueada |
| OAI-SearchBot | Liberada | Bloqueada | Liberada | Liberada |
| ChatGPT-User | Liberada | Bloqueada | Liberada | Liberada |
| OAI-AdsBot | Liberada | Bloqueada | Liberada | Liberada |
| ClaudeBot | Liberada | Bloqueada | Liberada | Liberada |
| Claude-SearchBot | Liberada | Bloqueada | Liberada | Liberada |
| Claude-User | Liberada | Bloqueada | Liberada | Liberada |
| Google-Extended | Liberada | Bloqueada | Liberada | Liberada |
| Applebot-Extended | Liberada | Bloqueada | Liberada | Liberada |
| PerplexityBot | Liberada | Bloqueada | Liberada | Liberada |
| Perplexity-User | Liberada | Bloqueada | Liberada | Liberada |
| CCBot | Liberada | Bloqueada | Liberada | Liberada |
| Bytespider | Liberada | Bloqueada | Liberada | Liberada |
| meta-externalagent | Liberada | Bloqueada | Liberada | Liberada |
| meta-webindexer | Liberada | Bloqueada | Liberada | Liberada |
| meta-externalfetcher | Liberada | Bloqueada | Liberada | Liberada |
| Amazonbot | Liberada | Bloqueada | Liberada | Liberada |
| Amzn-SearchBot | Liberada | Bloqueada | Liberada | Liberada |
| Amzn-User | Liberada | Bloqueada | Liberada | Liberada |
O robots.txt controla o rastreamento, não a indexação. O Google avisa que pode indexar uma URL bloqueada se ela for linkada em outros sites (sem descrição). Para tirar uma página dos resultados, use noindex numa página rastreável.