Verificador de Robots.txt & Diretivas de Rastreio
Audite a sintaxe do ficheiro robots.txt, regras de rastreio, bloqueio de recursos CSS/JS e acesso de robôs de IA.
Visão Geral & Importância
O ficheiro robots.txt define quais as secções do sítio web que os motores de busca podem aceder, prevenindo bloqueios involuntários na pesquisa.
Controlo Técnico de Rastreio
01
Evitar Desindexação Involuntária
Regras 'Disallow: /' indevidas podem remover o domínio por completo dos resultados.
02
Acesso a Recursos CSS e JS
O Googlebot requer ficheiros de estilo e scripts para avaliar a experiência móvel.
03
Gestão de Crawlers de IA
Defina permissões para motores como GPTBot e ClaudeBot.
Configuração Recomendada
Ficheiro robots.txt standard com indicação de sitemap:
User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://empresa.pt/sitemap.xml