Technisches SEO

robots.txt-Tester und Validator

Validieren Sie Ihre robots.txt und testen Sie, ob Googlebot, Bingbot oder KI-Crawler eine beliebige URL Ihrer Website abrufen dürfen.

Was der robots.txt-Tester prüft

Syntax, Struktur und echte Zugriffsentscheidungen.

Testen Sie jeden Pfad gegen jeden User-Agent nach dem robots.txt-Standard.

Unbekannte Direktiven, Regeln außerhalb einer Gruppe und nicht unterstützte noindex-Zeilen.

Ob eine Sitemap mit vollständiger URL angegeben ist.

Serverfehler und Dateien über Googles 500-KB-Grenze.

Fügen Sie einen Pfad hinzu und wählen Sie einen Crawler.

Regeln werden in Gruppen zerlegt und geprüft.

Erlaubt oder blockiert, plus alle gefundenen Syntaxprobleme.

Getestet wird Ihre live ausgelieferte robots.txt. Änderungen wirken für Crawler erst, wenn sie die Datei erneut abrufen.

FAQ

Geben Sie Website, Pfad und User-Agent ein. Der Tester zeigt, ob dieser Crawler den Pfad abrufen darf.

Google unterstützt noindex in robots.txt seit 2019 nicht mehr. Nutzen Sie ein Meta-Robots-Tag oder den X-Robots-Tag-Header.

Ein 404 bedeutet, dass alles erlaubt ist. Ein 5xx lässt Google die Website als blockiert behandeln, bis die Datei lesbar ist.

Weiterführend

robots.txt-Generator

KI-Crawler-Checker

Leitfaden zu robots.txt und Sitemap

Kostenlos - keine Anmeldung nötig

Der SEO-Optimierer prüft robots.txt, Sitemaps, Canonicals und noindex zusammen.