Generador de robots.txt
Genera un archivo robots.txt con reglas de rastreo y la referencia al sitemap.
Se procesa en tu dispositivo. Nada se envía a ningún servidor.
User-agent: * Allow: / Disallow: /admin Disallow: /search
Genera un archivo robots.txt con reglas de rastreo para buscadores y la referencia a tu sitemap.
Genera el formato estándar que reconocen Googlebot y otros rastreadores para saber qué rutas pueden o no visitar de tu sitio, junto con la ubicación del sitemap.
Casos de uso
- Bloquear el rastreo de páginas de administración o busqueda interna.
- Indicar la ubicación del sitemap a los buscadores.
- Preparar el robots.txt de un sitio nuevo.
Cómo funciona
- 1
Define el user-agent
Usa * para aplicar la regla a todos los rastreadores.
- 2
Añade rutas permitidas y bloqueadas
Una ruta por línea en cada campo.
- 3
Añade tu sitemap
Descarga el archivo robots.txt resultante.
Preguntas frecuentes
- ¿Un Disallow evita que la página se indexe?
- No necesariamente: Disallow evita que se rastree el contenido, pero una URL bloqueada puede seguir apareciendo en resultados de busqueda sin descripción si hay enlaces hacia ella; para evitar la indexación usa la etiqueta meta robots noindex en la propia página.
Herramientas relacionadas
- Generador de faviconGenera un pack de favicons en varios tamaños.
- Generador de Meta TagsGenera etiquetas meta para el head.
- Generador de Open GraphGenera etiquetas Open Graph y Twitter Card.
- Generador de enlaces UTMAñade parámetros UTM a una URL.
- Contador de caracteresCuenta caracteres y comprueba límites habituales.
- Minificador de CSSReduce el peso de un CSS.