Verificando bloqueios de teste
Garanta que os diretórios de teste, administração e staging estejam bloqueados corretamente para evitar que indexadores de pesquisa indexem cópias duplicadas do site.
Ferramentas de SEO
Testador de Robots.txt
Cole o conteúdo do robots.txt para inspecionar diretivas comuns e identificar bloqueios de rastreamento arriscados.
Como usar
- 1
Cole o conteúdo do robots.txt.
- 2
Execute o testador.
- 3
Revise as diretivas e avisos.
Resposta rápida
O Testador de Robots.txt analisa seu arquivo robots.txt para destacar regras ativas, alvos de User-agent, links de sitemap e bloqueios de rastreamento. É ideal para auditar configurações de rastreamento antes que o Google, Bing ou agentes de IA indexem seu site.
Principais recursos
- Verifica a validade das diretivas (Allow, Disallow, Sitemap, Crawl-delay).
- Agrupa regras por blocos de User-agent para uma auditoria clara e de múltiplos rastreadores.
- Destaca diretivas vazias ou problemas de formatação em tempo real.
- Identifica URLs absolutas de sitemap e verifica a conformidade com o layout padrão.
- Processa o texto totalmente no navegador, evitando o vazamento de configurações de rastreamento do site.
- Requer zero conexões com DNS de produção, domínios ou Search Console.
Sobre esta ferramenta
O arquivo robots.txt de um site é o guardião inicial para mecanismos de busca e scrapers de IA, instruindo-os sobre onde podem navegar e quais diretórios devem permanecer privados. Uma única barra mal colocada, estrela curinga incorreta ou caminho Disallow malformado pode bloquear completamente seções inteiras do seu domínio da indexação de pesquisa — ou expor acidentalmente diretórios de teste secretos a indexadores públicos. Este testador traduz diretivas brutas de robots em tabelas claras e estruturadas, destacando quais agentes têm permissão de rastreamento e alertando sobre bloqueios de rastreamento perigosos. Como a validação é executada dentro da janela do seu navegador local, você pode testar e ajustar suas regras offline com segurança antes de implantá-las ao vivo.
Cenários comuns
Auditando regras de scraper de IA
Configure regras personalizadas para permitir rastreadores de pesquisa convencionais enquanto bloqueia ou limita especificamente scrapers de conteúdo de modelos de IA agressivos.
Validando caminhos de sitemap
Verifique se o link do seu sitemap está totalmente declarado como uma URL absoluta e colocado corretamente fora dos blocos de diretiva de user-agent.
Perguntas frequentes
Isso substitui o teste do Google Search Console?
Não. É uma verificação local rápida para erros comuns antes de uma validação mais profunda.
Ele pode buscar um arquivo robots.txt ativo?
A busca em tempo real pode ser adicionada posteriormente como um recurso assistido por servidor.
Qual é o posicionamento padrão para uma regra de sitemap?
Uma diretiva Sitemap é independente dos blocos de User-agent. Ela deve ser declarada como uma URL absoluta (por exemplo, Sitemap: https://seudominio.com/sitemap.xml) e normalmente fica no topo ou na parte inferior do arquivo.
As regras de crawl-delay são suportadas pelo Google?
Não. O Googlebot ignora totalmente as diretivas Crawl-delay. No entanto, outros bots de pesquisa (como o Bingbot) e scrapers de sites menores ainda suportam e respeitam as configurações de Crawl-delay.
Posso testar curingas?
Sim. Curingas padrão (como * e $) são suportados por mecanismos de pesquisa modernos e podem ser analisados para auditar correspondências.
Meu arquivo de rastreamento é privado?
Sim. Toda a análise do robots.txt é tratada estritamente dentro da janela do seu navegador usando JavaScript do lado do cliente. Nenhum dos seus diretórios ou diretivas é registrado.