Gerador de robots.txt
Gere um arquivo robots.txt com regras de rastreamento e a referência ao sitemap.
User-agent: * Allow: / Disallow: /admin Disallow: /search
Gere um arquivo robots.txt com regras de rastreamento para buscadores e a referência ao seu sitemap.
Gera o formato padrão reconhecido pelo Googlebot e outros rastreadores para saber quais rotas do seu site podem ou não visitar, junto com a localização do sitemap.
Casos de uso
- Bloquear o rastreamento de páginas de administração ou busca interna.
- Indicar a localização do sitemap aos buscadores.
- Preparar o robots.txt de um site novo.
Como funciona
- 1
Defina o user-agent
Use * para aplicar a regra a todos os rastreadores.
- 2
Adicione rotas permitidas e bloqueadas
Uma rota por linha em cada campo.
- 3
Adicione seu sitemap
Baixe o arquivo robots.txt resultante.
Perguntas frequentes
Um Disallow impede que a página seja indexada?
Não necessariamente: o Disallow impede que o conteúdo seja rastreado, mas uma URL bloqueada ainda pode aparecer nos resultados de busca sem descrição se houver links para ela; para evitar a indexação, use a tag meta robots noindex na própria página.