Créez un robots.txt sans mémoriser la syntaxe
Choisissez un point de départ, ajoutez des blocs user-agent avec des puces d'ajout rapide pour les robots et chemins courants, puis copiez ou téléchargez le fichier final.
User-agent: * Disallow:
Ce que couvre cet outil
Les directives qui contrôlent réellement l'exploration.
Contrôle des robots IA
Puces d'ajout rapide pour GPTBot, ClaudeBot et PerplexityBot aux côtés de Googlebot et Bingbot, pour autoriser ou bloquer les robots IA aussi délibérément que les robots de recherche.
Nettoyage du budget d'exploration
Empêchez les robots d'accéder aux panneaux d'administration, aux pages de panier et à la recherche interne pour qu'ils passent plus de temps sur les pages que vous voulez réellement indexées.
Découverte du sitemap
Ajoute une directive Sitemap: pour que les robots trouvent votre sitemap.xml sans que vous ayez à le soumettre séparément.
Comment ça marche
Aucun compte, aucun appel API : tout s'exécute dans votre navigateur.
Choisissez un point de départ
Tout autoriser, tout bloquer, ou partir d'un jeu de règles vierge.
Ajoutez des règles par robot
Définissez un user-agent, puis ajoutez des chemins Disallow/Allow ; les puces d'ajout rapide couvrent les cas courants.
Copiez ou téléchargez
Récupérez le texte directement, ou téléchargez-le en robots.txt prêt à être déposé à la racine de votre site.
Questions fréquentes
À la racine de votre domaine : https://exemple.fr/robots.txt. Il ne sera lu nulle part ailleurs, y compris dans les sous-répertoires.
Non. Disallow indique aux robots bien élevés de ne pas récupérer une page, mais si d'autres sites y font un lien, Google peut quand même indexer l'URL sans la visiter. Utilisez une balise meta noindex sur la page elle-même si vous avez besoin d'une garantie.
C'est un vrai arbitrage actuel, sans réponse unique : les bloquer garde votre contenu hors des données d'entraînement de cette entreprise, mais aussi hors des surfaces de recherche/réponse par IA qui envoient de plus en plus de trafic de référence. Décidez bot par bot, ne bloquez pas par défaut.
Un Disallow: vide sans chemin signifie "ne rien interdire" : cela équivaut à tout autoriser pour ce user-agent, et constitue une syntaxe valide et intentionnelle pour un bloc "tout autoriser".
Autres outils gratuits
Générateur de balises meta
Créez titre, description et balises sociales
Aperçu de l'extrait SERP
Prévisualisez l'apparence d'une page sur Google
Générateur de balisage Schema
Ajoutez des données structurées pour les résultats enrichis, prêtes en JSON-LD
Générateur de llms.txt
Créez en quelques minutes un fichier llms.txt valide avec un résumé et des sections de liens clés, puis copiez-le ou téléchargez-le.
Validateur llms.txt
Vérifiez que votre llms.txt se charge, est servi en texte et suit le format avec H1, résumé et sections de liens.
Vérificateur de robots d'IA
Voyez si robots.txt autorise GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot et d'autres robots d'IA, et ce qu'implique leur blocage.
Détecteur de caractères invisibles
Révèle l'Unicode caché, les caractères de largeur nulle et bidirectionnels dans les textes, prompts et fichiers de règles IA.
Lectures associées
A Practical Guide to robots.txt and Sitemap.xml for SEO and AI Crawlers
What each file actually controls, the mistakes that accidentally block crawlers (human search engines and AI ones alike), and how to verify both are configured correctly.
Technical SEO Audit Checklist: 30+ On-Page & Technical Factors
Titles, canonical tags, structured data, crawlability, redirect chains - a concrete checklist instead of vague 'improve your SEO' advice.
Vous voulez confirmer que les robots atteignent vraiment vos pages ?
Lancez un audit de site gratuit pour vérifier ensemble l'explorabilité, l'indexabilité et la préparation aux agents IA.
Lancer l'audit gratuit