KI-Crawler-Checker
Sehen Sie Bot für Bot, welche KI-Bots Ihre robots.txt erlaubt oder blockiert, und ob Sie in Antworten von ChatGPT, Claude und Perplexity zitiert werden können.
Was der KI-Crawler-Checker zeigt
Alle wichtigen KI-Crawler, geprüft gegen Ihre robots.txt-Regeln.
Such- und Nutzer-Bots
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot und andere, die über Zitate entscheiden.
Trainings-Bots
GPTBot, ClaudeBot, Google-Extended und andere Bots, die Daten für das Modelltraining sammeln.
Ergebnis pro Bot
Jeder Bot wird gegen seine eigene robots.txt-Gruppe geprüft, so wie Crawler sie lesen.
Zugriff für Google
Bestätigt, dass der Googlebot die Seite erreicht, denn AI Overviews nutzen den Google-Index.
So funktioniert es
URL eingeben
Eine Seite Ihrer Website, damit auch pfadspezifische Regeln getestet werden.
Wir lesen robots.txt
Regeln werden pro Bot nach dem robots.txt-Standard abgeglichen.
Entscheiden, was erlaubt ist
Erlauben Sie Such-Bots für Zitate und blockieren Sie Trainings-Bots, wenn Sie möchten.
Geprüft wird nur die robots.txt. Eine Firewall, ein CDN-Bot-Schutz oder Rate-Limiting kann KI-Crawler trotzdem blockieren.
Fragen
Nein. GPTBot sammelt Trainingsdaten. Die ChatGPT-Suche nutzt OAI-SearchBot, und ChatGPT-User ruft Seiten auf Nutzerwunsch ab. Sie können GPTBot blockieren und trotzdem zitiert werden.
Trainings-Bots zu blockieren ist legitim. Such- und Nutzer-Bots zu blockieren entfernt Sie aus KI-Antworten, was die meisten Websites vermeiden wollen.
Nein. Google-Extended steuert die Nutzung für Gemini-Training und -Grounding. AI Overviews stammen aus dem normalen Google-Index.
Prüfen Sie Ihre gesamte Bereitschaft für KI-Suche
Antwort-zuerst-Inhalte, Entitätssignale und strukturierte Daten zusammen mit dem Crawler-Zugriff.
Kostenlosen Audit starten