Homologação fechada
- Entrada
- User-agent: * / Disallow: / → Googlebot em /produtos
- Saída esperada
- Bloqueada / Blocked
O aviso "bloqueia tudo" aparece.
Carregando ferramenta… / Loading tool…
disallow remove página do google noindex
Use a aba Testar para confirmar se uma URL está bloqueada para o Googlebot. Se estiver, o Google não consegue ler um noindex nela: é preciso escolher entre bloquear o rastreamento e pedir a remoção do índice.
O aviso "bloqueia tudo" aparece.
A RFC 9309 libera implicitamente o próprio arquivo.
Diretiva fora da especificação: aviso de que não é suportada.
Bloquear não é ocultar: a URL pode aparecer sem descrição.
Disallow sem valor não bloqueia nada.
Escreva um grupo com o token de cada bot e Disallow: /, por exemplo User-agent: GPTBot seguido de Disallow: /. Vários User-agent seguidos compartilham as mesmas regras, então dá para listar todos de uma vez. O atalho Bloquear treino de IA marca GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, meta-externalagent e Amazonbot. É um pedido: os fornecedores dizem respeitá-lo, mas ele não impede o acesso técnico.
Use noindex (meta tag ou cabeçalho de resposta) em uma página que o Googlebot consiga rastrear, ou proteja a página com senha. Bloquear no robots.txt sozinho não basta.
Porque o Google indexou a URL a partir de links de outros sites, mas o robots.txt o impediu de ler o conteúdo. O Google descreve exatamente esse caso na documentação.
Não. Cumprir é voluntário e o arquivo é público: listar um caminho nele o torna descobrível. Use autenticação para qualquer coisa que não possa ser vista.
Cada bot tem seu próprio token. Bloquear o de treino não tira o site das buscas com IA, e o de busca é independente do de treino. Padrão = o bot segue as regras do grupo *.
Coletam conteúdo que pode treinar modelos de IA.
Coleta conteúdo que pode ser usado para treinar os modelos de IA generativa da OpenAI.
Indica que o conteúdo do site não deve ser usado no treinamento. Não tira o site das respostas de busca do ChatGPT (isso depende do OAI-SearchBot).
Segundo o fornecedor, segue o robots.txt. Página oficial: OpenAI
Coleta conteúdo da web que pode contribuir para o treinamento dos modelos da Anthropic.
Sinaliza que materiais futuros do site devem ficar fora dos conjuntos de treinamento. A Anthropic informa que aceita a extensão Crawl-delay.
Segundo o fornecedor, segue o robots.txt. Página oficial: Anthropic
Token de controle: define se o conteúdo que o Google já rastreia pode treinar futuras gerações do Gemini e embasar respostas nos apps Gemini e no Vertex AI. Não tem user-agent HTTP próprio.
Segundo o Google, não afeta a inclusão no Google Search nem é sinal de ranqueamento. A página do Google não menciona AI Overviews.
Segundo o fornecedor, segue o robots.txt. Página oficial: Google
Token de controle: não rastreia nada. Define como a Apple usa os dados que o Applebot já coletou, em particular para treinar modelos generativos de uso geral.
Tira o site do treinamento de modelos da Apple. As páginas ainda podem aparecer nos resultados de busca (Spotlight, Siri, Safari), que dependem do Applebot.
Segundo o fornecedor, segue o robots.txt. Página oficial: Apple
Rastreador da ByteDance. Não foi possível abrir uma página oficial da empresa que descreva o token, então a finalidade exata não está confirmada aqui.
Fontes de terceiros divergem sobre o respeito ao robots.txt. Sem fonte oficial, trate o bloqueio como um pedido, não como garantia.
A página do fornecedor não diz se segue o robots.txt. Sem página oficial confirmada.
Rastreia para treinar modelos de IA de fundação ou melhorar produtos indexando conteúdo diretamente.
A Meta indica o robots.txt como forma de bloquear; mudanças podem levar até 24 horas por causa de cache.
A página do fornecedor não diz se segue o robots.txt. Página oficial: Meta
Melhora produtos e serviços da Amazon; a Amazon diz que o conteúdo pode ser usado para treinar modelos de IA. Não aceita Crawl-delay.
Respeita Allow e Disallow do seu token; a meta tag noarchive também é respeitada (equivale a "não usar para treino"). Leva cerca de 24 horas.
Segundo o fornecedor, segue o robots.txt. Página oficial: Amazon
Montam um arquivo público de rastreamento da web.
Monta o Common Crawl, um acervo aberto de rastreamento da web, de uso livre por qualquer pessoa. A página do Common Crawl não trata de Crawl-delay.
Tira o site das próximas coletas do acervo. Existem rastreadores falsos que usam o nome CCBot; o Common Crawl publica faixas de IP para conferir.
Segundo o fornecedor, segue o robots.txt. Página oficial: Common Crawl
Indexam para as respostas de busca com IA e citam o site.
Mostra sites nos resultados da busca do ChatGPT.
O site deixa de aparecer nas respostas da busca do ChatGPT, mas ainda pode surgir como link de navegação. A OpenAI diz que o ajuste leva cerca de 24 horas.
Segundo o fornecedor, segue o robots.txt. Página oficial: OpenAI
Percorre a web para melhorar a qualidade dos resultados de busca do Claude.
Impede a indexação do conteúdo para a busca; pode reduzir a visibilidade e a precisão do site nos resultados.
Segundo o fornecedor, segue o robots.txt. Página oficial: Anthropic
Exibe e linka sites nos resultados de busca do Perplexity. A empresa diz que não é usado para treinar modelos de fundação.
O site deixa de ser indexado para os resultados do Perplexity. A empresa recomenda permitir o PerplexityBot. Mudanças levam até 24 horas.
Segundo o fornecedor, segue o robots.txt. Página oficial: Perplexity
Navega pela web para melhorar a qualidade da busca do Meta AI.
A Meta diz que permitir ajuda a citar e linkar seu conteúdo nas respostas do Meta AI.
A página do fornecedor não diz se segue o robots.txt. Página oficial: Meta
Controlado separadamente do Amazonbot. A Amazon diz que não rastreia conteúdo para treinar IA generativa.
Respeita Allow e Disallow do seu token.
Segundo o fornecedor, segue o robots.txt. Página oficial: Amazon
Abrem uma página porque uma pessoa pediu. Vários fornecedores avisam que o robots.txt pode não se aplicar (veja cada bot).
Abre páginas quando uma pessoa pede ao ChatGPT ou a um GPT personalizado, e em ações de GPTs. Não é rastreamento automático.
A OpenAI avisa que, por serem ações iniciadas pelo usuário, as regras do robots.txt podem não se aplicar. Não define a presença na busca.
O fornecedor avisa que pode ignorar o robots.txt. Página oficial: OpenAI
Acessa sites quando uma pessoa faz ao Claude uma pergunta que exige consultar a web.
Impede que o Claude busque o seu conteúdo para responder a uma pergunta; pode reduzir a visibilidade em buscas dirigidas pelo usuário.
Segundo o fornecedor, segue o robots.txt. Página oficial: Anthropic
Busca uma página quando uma pessoa faz uma pergunta e o Perplexity precisa linká-la na resposta. Não rastreia nem coleta para treino.
O Perplexity diz que, como foi o usuário quem pediu, esse acesso em geral ignora o robots.txt.
O fornecedor avisa que pode ignorar o robots.txt. Página oficial: Perplexity
Busca links individuais a pedido do usuário, para recursos de IA com agentes.
A Meta avisa que este acesso pode ignorar as regras do robots.txt.
O fornecedor avisa que pode ignorar o robots.txt. Página oficial: Meta
Acessa páginas por pedido de um usuário. A Amazon diz que não rastreia para treinar IA generativa.
A Amazon avisa que pode não seguir todas as diretivas do robots.txt, por agir a pedido do usuário.
O fornecedor avisa que pode ignorar o robots.txt. Página oficial: Amazon
Conferem as páginas de destino dos anúncios.
Visita só páginas enviadas como anúncio no ChatGPT, para conferir as políticas. Os dados não treinam modelos.
A página da OpenAI não descreve o efeito de bloquear.
A página do fornecedor não diz se segue o robots.txt. Página oficial: OpenAI
Lista conferida nas páginas oficiais dos fornecedores em 2026-10-18. Fornecedores mudam tokens sem aviso: confira antes de publicar.
User-agent: * Disallow: User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot User-agent: Bytespider User-agent: meta-externalagent User-agent: Amazonbot Disallow: /
Publique em https://seudominio/robots.txt, na raiz do host. Cada subdomínio e cada porta precisam do seu.
Para a URL selecionada acima: linha vencedora em destaque forte, outras regras que casaram em amarelo e o restante do grupo aplicado em tom suave.
Resultado das primeiras 6 URLs para o Googlebot, o Bingbot e cada bot de IA da lista.
| Rastreador | / | /admin/users | /admin/public/logo.png | /blog/post?id=7 |
|---|---|---|---|---|
| Googlebot | Liberada | Bloqueada | Liberada | Liberada |
| Bingbot | Liberada | Bloqueada | Liberada | Liberada |
| GPTBot | Bloqueada | Bloqueada | Bloqueada | Bloqueada |
| OAI-SearchBot | Liberada | Bloqueada | Liberada | Liberada |
| ChatGPT-User | Liberada | Bloqueada | Liberada | Liberada |
| OAI-AdsBot | Liberada | Bloqueada | Liberada | Liberada |
| ClaudeBot | Liberada | Bloqueada | Liberada | Liberada |
| Claude-SearchBot | Liberada | Bloqueada | Liberada | Liberada |
| Claude-User | Liberada | Bloqueada | Liberada | Liberada |
| Google-Extended | Liberada | Bloqueada | Liberada | Liberada |
| Applebot-Extended | Liberada | Bloqueada | Liberada | Liberada |
| PerplexityBot | Liberada | Bloqueada | Liberada | Liberada |
| Perplexity-User | Liberada | Bloqueada | Liberada | Liberada |
| CCBot | Liberada | Bloqueada | Liberada | Liberada |
| Bytespider | Liberada | Bloqueada | Liberada | Liberada |
| meta-externalagent | Liberada | Bloqueada | Liberada | Liberada |
| meta-webindexer | Liberada | Bloqueada | Liberada | Liberada |
| meta-externalfetcher | Liberada | Bloqueada | Liberada | Liberada |
| Amazonbot | Liberada | Bloqueada | Liberada | Liberada |
| Amzn-SearchBot | Liberada | Bloqueada | Liberada | Liberada |
| Amzn-User | Liberada | Bloqueada | Liberada | Liberada |
O robots.txt controla o rastreamento, não a indexação. O Google avisa que pode indexar uma URL bloqueada se ela for linkada em outros sites (sem descrição). Para tirar uma página dos resultados, use noindex numa página rastreável.