robots.txt-Generator
Erzeuge eine robots.txt-Datei mit Crawling-Regeln und dem Verweis auf die Sitemap.
User-agent: * Allow: / Disallow: /admin Disallow: /search
Erzeuge eine robots.txt-Datei mit Crawling-Regeln für Suchmaschinen und dem Verweis auf deine Sitemap.
Erzeugt das Standardformat, das Googlebot und andere Crawler erkennen, um zu wissen, welche Pfade deiner Website sie besuchen dürfen oder nicht, zusammen mit dem Sitemap-Speicherort.
Anwendungsfälle
- Das Crawling von Admin- oder internen Suchseiten blockieren.
- Suchmaschinen den Sitemap-Speicherort mitteilen.
- Die robots.txt für eine neue Website vorbereiten.
So funktioniert's
- 1
User-Agent festlegen
Verwende *, um die Regel auf alle Crawler anzuwenden.
- 2
Erlaubte und blockierte Pfade hinzufügen
Ein Pfad pro Zeile in jedem Feld.
- 3
Sitemap hinzufügen
Lade die resultierende robots.txt-Datei herunter.
Häufige Fragen
Verhindert ein Disallow die Indexierung einer Seite?
Nicht unbedingt: Disallow verhindert nur das Crawlen des Inhalts, aber eine blockierte URL kann trotzdem ohne Beschreibung in Suchergebnissen erscheinen, wenn Links auf sie verweisen; um die Indexierung zu verhindern, verwende ein noindex meta-robots-Tag auf der Seite selbst.