robots.txt erstellen, ohne die Syntax auswendig zu lernen
Wählen Sie einen Ausgangspunkt, fügen Sie User-Agent-Blöcke mit Schnellauswahl-Chips für gängige Crawler und Pfade hinzu und kopieren oder laden Sie die fertige Datei herunter.
User-agent: * Disallow:
Das deckt dieses Tool ab
Die Direktiven, die das Crawling wirklich steuern.
Kontrolle über KI-Crawler
Schnellauswahl-Chips für GPTBot, ClaudeBot und PerplexityBot neben Googlebot und Bingbot, damit Sie KI-Crawler ebenso gezielt erlauben oder blockieren wie Suchcrawler.
Crawl-Budget bereinigen
Halten Sie Crawler aus Admin-Bereichen, Warenkorbseiten und interner Suche fern, damit sie mehr Zeit auf den Seiten verbringen, die tatsächlich indexiert werden sollen.
Sitemap-Erkennung
Fügt eine Sitemap:-Direktive hinzu, damit Crawler Ihre sitemap.xml finden, ohne dass Sie sie separat einreichen müssen.
So funktioniert's
Kein Konto, kein API-Aufruf - alles läuft in Ihrem Browser.
Ausgangspunkt wählen
Alles erlauben, alles blockieren oder mit einem leeren Regelwerk beginnen.
Regeln pro Crawler hinzufügen
User-Agent festlegen, dann Disallow-/Allow-Pfade hinzufügen - Schnellauswahl-Chips decken die gängigen ab.
Kopieren oder herunterladen
Text direkt übernehmen oder als robots.txt herunterladen, bereit zum Hochladen ins Root-Verzeichnis Ihrer Website.
Häufig gestellte Fragen
Im Root-Verzeichnis Ihrer Domain - https://beispiel.de/robots.txt. An keiner anderen Stelle wird sie gelesen, auch nicht in Unterverzeichnissen.
Nein. Disallow weist wohlerzogene Crawler an, eine Seite nicht abzurufen, aber wenn andere Websites darauf verlinken, kann Google die URL trotzdem indexieren, ohne sie zu besuchen. Nutzen Sie ein noindex-Meta-Tag auf der Seite selbst, wenn Sie eine Garantie benötigen.
Das ist eine echte, aktuelle Abwägung ohne eindeutig richtige Antwort - eine Blockierung hält Ihre Inhalte aus den Trainingsdaten dieses Unternehmens heraus, aber auch aus KI-gestützten Such-/Antwortoberflächen, die zunehmend Verweistraffic senden. Entscheiden Sie pro Bot, blockieren Sie nicht standardmäßig.
Ein leeres Disallow: ohne Pfad bedeutet "nichts verbieten" - das entspricht einer vollständigen Erlaubnis für diesen User-Agent und ist gültige, beabsichtigte Syntax für einen "Alles erlauben"-Block.
Weitere kostenlose Tools
Weiterführende Artikel
A Practical Guide to robots.txt and Sitemap.xml for SEO and AI Crawlers
What each file actually controls, the mistakes that accidentally block crawlers (human search engines and AI ones alike), and how to verify both are configured correctly.
Technical SEO Audit Checklist: 30+ On-Page & Technical Factors
Titles, canonical tags, structured data, crawlability, redirect chains - a concrete checklist instead of vague 'improve your SEO' advice.
Sicherstellen, dass Crawler Ihre Seiten wirklich erreichen?
Führen Sie einen kostenlosen Website-Audit durch, um Crawlbarkeit, Indexierbarkeit und KI-Agent-Bereitschaft gemeinsam zu prüfen.
Kostenlosen Audit starten