Verificador de rastreadores de IA
Veja bot por bot quais bots de IA seu robots.txt permite ou bloqueia, e se você pode ser citado nas respostas do ChatGPT, Claude e Perplexity.
O que o verificador mostra
Todos os principais rastreadores de IA, testados contra suas regras de robots.txt.
Bots de busca e de usuário
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot e outros que decidem as citações.
Bots de treinamento
GPTBot, ClaudeBot, Google-Extended e outros bots que coletam dados para treinar modelos.
Resultado por bot
Cada bot é avaliado pelo seu próprio grupo do robots.txt, como os rastreadores leem.
Acesso do Google
Confirma que o Googlebot alcança a página, já que o AI Overviews usa o índice do Google.
Como funciona
Digite uma URL
Uma página do seu site, para testar também regras específicas de caminho.
Lemos o robots.txt
As regras são aplicadas por bot conforme o padrão robots.txt.
Decida o que permitir
Permita bots de busca para ser citado e bloqueie bots de treinamento se preferir.
Só o robots.txt é verificado. Um firewall, a proteção contra bots de uma CDN ou limite de requisições ainda podem bloquear rastreadores de IA.
Perguntas
Não. O GPTBot coleta dados de treinamento. A busca do ChatGPT usa o OAI-SearchBot, e o ChatGPT-User busca páginas a pedido do usuário. Você pode bloquear o GPTBot e continuar sendo citado.
Bloquear bots de treinamento é uma escolha legítima. Bloquear bots de busca e de usuário tira você das respostas de IA, o que a maioria dos sites quer evitar.
Não. O Google-Extended controla o uso para treinamento e embasamento do Gemini. O AI Overviews vem do índice normal do Google.
Verifique sua preparação completa para a busca com IA
Conteúdo que responde primeiro, sinais de entidade e dados estruturados junto com o acesso de rastreadores.
Executar auditoria grátis