robots.txt-Generator
Erzeugen Sie eine robots.txt mit Crawling-Regeln für Suchmaschinen und einem Verweis auf Ihre Sitemap.
Wird auf Ihrem Gerät verarbeitet. Es wird nichts an einen Server gesendet.
User-agent: * Allow: / Disallow: /admin Disallow: /search
Erzeugt das Standardformat, an dem Googlebot und andere Crawler erkennen, welche Pfade Ihrer Website sie besuchen dürfen, dazu den Ort der Sitemap.
Anwendungsfälle
- Verwaltungs- oder interne Suchbereiche vom Crawling ausschließen.
- Suchmaschinen den Ort der Sitemap mitteilen.
- Eine robots.txt für eine neue Website anlegen.
So funktioniert's
- 1
User-agent festlegen
Verwenden Sie *, damit die Regel für alle Crawler gilt.
- 2
Erlaubte und gesperrte Pfade eintragen
Ein Pfad pro Zeile in jedem Feld.
- 3
Sitemap ergänzen
Laden Sie die fertige robots.txt herunter.
Technische Details
- Erzeugt wird eine einzige Regelgruppe für den angegebenen User-agent (* für alle). Für unterschiedliche Regeln je Bot erzeugen Sie jede Gruppe und fügen sie in derselben Datei zusammen.
- Jeder Pfad steht in einer eigenen Zeile und beginnt mit /; leere Zeilen werden ignoriert. Ob der Pfad existiert, prüft das Tool nicht.
- Die Sitemap-Zeile braucht die absolute URL der Sitemap. Die Datei wird als robots.txt heruntergeladen und muss im Stammverzeichnis der Domain liegen (https://ihredomain.de/robots.txt).
Häufige Fragen
Verhindert ein Disallow die Indexierung einer Seite?
Nicht unbedingt: Disallow verhindert das Crawlen, doch eine gesperrte URL kann ohne Beschreibung in den Suchergebnissen erscheinen, wenn Links auf sie verweisen. Um die Indexierung zu verhindern, verwenden Sie auf der Seite selbst ein Meta-Robots-Tag mit noindex.