Gerador de robots.txt
Gere um ficheiro robots.txt com regras de rastreamento para os motores de busca e a referência ao seu sitemap.
É processado no seu dispositivo. Nada é enviado para nenhum servidor.
User-agent: * Allow: / Disallow: /admin Disallow: /search
Gera o formato padrão que o Googlebot e outros rastreadores reconhecem para saber que caminhos podem visitar no seu site, juntamente com a localização do sitemap.
Casos de uso
- Excluir do rastreamento zonas de administração ou de pesquisa interna.
- Indicar aos motores de busca onde está o sitemap.
- Criar o robots.txt de um site novo.
Como funciona
- 1
Defina o user-agent
Use * para aplicar a regra a todos os rastreadores.
- 2
Acrescente caminhos permitidos e bloqueados
Um caminho por linha em cada campo.
- 3
Acrescente o sitemap
Descarregue o robots.txt resultante.
Detalhes técnicos
- Gera um único grupo de regras para o user-agent indicado (* para todos). Para regras diferentes por robô, gere cada grupo e junte-os no mesmo ficheiro.
- Escreva cada caminho na sua própria linha, a começar por /; as linhas vazias são ignoradas. A ferramenta não verifica se o caminho existe.
- A linha Sitemap deve ter o URL absoluto do sitemap. O ficheiro é descarregado como robots.txt e tem de ficar na raiz do domínio (https://oseudominio.pt/robots.txt).
Perguntas frequentes
Um Disallow impede a indexação de uma página?
Não necessariamente: o Disallow impede o rastreamento, mas um URL bloqueado pode aparecer nos resultados sem descrição se houver ligações para ele. Para impedir a indexação, use uma meta tag robots com noindex na própria página.