Die robots.txt-Datei ist eine kleine Textdatei im Stammverzeichnis Ihrer Website, die Suchrobotern (Googlebot, Bingbot, Yandex und andere) mitteilt, welche Seiten sie crawlen können und welche nicht. Eine ordnungsgemäß konfigurierte robots.txt-Datei ist einer der ersten Schritte in der technischen Suchmaschinenoptimierung, die sich direkt darauf auswirkt, wie Suchmaschinen Ihre Website indizieren.
Warum brauchen Sie robots.txt
Die robots.txt-Datei erfüllt mehrere wichtige Funktionen:
- Crawling-Budgetverwaltung – Google weist jeder Website eine begrenzte Anzahl von Crawls pro Tag zu. Mit Robots.txt können Sie den Bot auf wichtige Seiten statt auf technische oder doppelte Seiten leiten.
- Schutz privater Abschnitte – Schließen Sie das Admin-Panel, API-Endpunkte, Testseiten und Dienstverzeichnisse vor der Indizierung.
- Duplikate-Verhinderung – Blockieren Sie Seiten mit Filter- und Sortieroptionen, die Tausende von Duplikaten erzeugen.
- Sitemap-Zeiger – Fügen Sie Ihre XML-Sitemap-URL ein, damit Bots alle wichtigen Seiten schneller finden können.
Syntax robots.txt
Die Datei besteht aus einfachen Anweisungen:
- User-agent – definiert, für welchen Bot die Regel gilt.
User-agent: *bedeutet „alle Bots“. - Disallow – verhindert das Scannen des angegebenen Pfads.
Disallow: /admin/schließt das gesamte Verzeichnis. - Allow – ermöglicht das Scannen eines bestimmten Pfads in einem verbotenen Verzeichnis.
- Sitemap – gibt die vollständige URL der XML-Sitemap an.
- Crawl-delay – legt die Verzögerung zwischen Bot-Anfragen fest (nicht von allen Suchmaschinen unterstützt).
Typische Fehler in robots.txt
Eine falsche Konfiguration kann SEO ernsthaft schaden:
- Blockierung von CSS- und JS-Dateien – Google benötigt Zugriff auf Stile und Skripte für die korrekte Seitendarstellung. Das Verbot dieser Ressourcen kann zu Indexierungsproblemen führen.
- Disallow: / – Diese Anweisung blockiert ALLE Scans. Ein zusätzlicher Schrägstrich kann eine Site vollständig aus dem Index entfernen.
- Konflikt zwischen Zulassen und Nichtzulassen – Wenn die Regeln miteinander in Konflikt stehen, können verschiedene Bots sie unterschiedlich interpretieren.
- Vergessene Testregeln – nach dem Start der Website wird oft vergessen,
Disallow: /zu entfernen, das während der Entwicklungsphase hinzugefügt wurde. - Falscher Dateipfad – robots.txt muss sich unbedingt im Stammverzeichnis der Domain befinden:
https://example.com/robots.txt.
So erstellen Sie robots.txt mit Xuvero
Unser Robots.txt-Generator vereinfacht den Prozess der Dateierstellung:
- Grundregeln auswählen– Aktivieren oder deaktivieren Sie den Zugriff für alle Bots mit einem Klick.
- Disallow-Pfade hinzufügen – Geben Sie die zu blockierenden Verzeichnisse an: /admin/, /api/, /dashboard/, /tmp/.
- Sitemap-URL angeben – Fügen Sie einen Link zur XML-Sitemap hinzu.
- Kopieren Sie das Ergebnis – die fertige robots.txt-Datei wird im Ergebnisfeld angezeigt. Kopieren Sie es und laden Sie es in das Stammverzeichnis Ihrer Website hoch.
Robots.txt-Vorlagen für verschiedene CMS
- WordPress – /wp-admin/, /wp-includes/, /wp-json/ blockieren, /wp-admin/admin-ajax.php zulassen, damit Plugins ordnungsgemäß funktionieren.
- Laravel – schließen Sie /storage/, /vendor/, /nova/ (bei Verwendung von Nova), /telescope/.
- Online-Shop – Filterseiten blockieren (?sort=, ?filter=), Warenkorb (/cart/), Kasse (/checkout/), persönliches Konto (/account/).
Robots.txt und Sicherheit
Es ist wichtig, sich daran zu erinnern, dass robots.txt eine Empfehlung und kein Schutz ist. Die Datei ist öffentlich verfügbar und Angreifer können damit versteckte Bereiche der Website finden. Für echten Schutz verwenden Sie Authentifizierung, Firewall oder Meta-Tag noindex.
Fazit
Eine richtig konfigurierte robots.txt ist die Grundlage für technisches SEO. Es hilft Suchmaschinen, Ihre Website effizient zu crawlen, die richtigen Seiten zu indizieren undignoriere unnötige. Verwenden Sie unseren kostenlosen robots.txt-Generator, um in wenigen Minuten die richtige Datei zu erstellen – ohne Syntaxfehler.
