Saltar al contenido
QuickToolio
esEspañolenEnglishptPortuguêsfrFrançaisdeDeutschitItaliano

Generador de robots.txt

Genera un archivo robots.txt con reglas de rastreo para buscadores y la referencia a tu sitemap.

Se procesa en tu dispositivo. Nada se envía a ningún servidor.
User-agent: *
Allow: /
Disallow: /admin
Disallow: /search

Genera el formato estándar que reconocen Googlebot y otros rastreadores para saber qué rutas pueden o no visitar de tu sitio, junto con la ubicación del sitemap.

Casos de uso

  • Bloquear el rastreo de páginas de administración o busqueda interna.
  • Indicar la ubicación del sitemap a los buscadores.
  • Preparar el robots.txt de un sitio nuevo.

Cómo funciona

  1. 1

    Define el user-agent

    Usa * para aplicar la regla a todos los rastreadores.

  2. 2

    Añade rutas permitidas y bloqueadas

    Una ruta por línea en cada campo.

  3. 3

    Añade tu sitemap

    Descarga el archivo robots.txt resultante.

Detalles técnicos

  • Genera un único grupo de reglas para el user-agent que indiques (* para todos). Para reglas distintas por bot, genera cada grupo y únelos en el mismo archivo.
  • Escribe cada ruta en su propia línea y empezando por /; las líneas vacías se ignoran. La herramienta no comprueba que la ruta exista.
  • La línea Sitemap debe llevar la URL absoluta del sitemap. El archivo se descarga como robots.txt y debe ir en la raíz del dominio (https://tudominio.com/robots.txt).

Preguntas frecuentes

¿Un Disallow evita que la página se indexe?

No necesariamente: Disallow evita que se rastree el contenido, pero una URL bloqueada puede seguir apareciendo en resultados de busqueda sin descripción si hay enlaces hacia ella; para evitar la indexación usa la etiqueta meta robots noindex en la propia página.

Herramientas relacionadas

← Web y SEO