Créez un robots.txt sans mémoriser la syntaxe
Choisissez un point de départ, ajoutez des blocs user-agent avec des puces d'ajout rapide pour les robots et chemins courants, puis copiez ou téléchargez le fichier final.
User-agent: * Disallow:
Ce que couvre cet outil
Les directives qui contrôlent réellement l'exploration.
Contrôle des robots IA
Puces d'ajout rapide pour GPTBot, ClaudeBot et PerplexityBot aux côtés de Googlebot et Bingbot, pour autoriser ou bloquer les robots IA aussi délibérément que les robots de recherche.
Nettoyage du budget d'exploration
Empêchez les robots d'accéder aux panneaux d'administration, aux pages de panier et à la recherche interne pour qu'ils passent plus de temps sur les pages que vous voulez réellement indexées.
Découverte du sitemap
Ajoute une directive Sitemap: pour que les robots trouvent votre sitemap.xml sans que vous ayez à le soumettre séparément.
Comment ça marche
Aucun compte, aucun appel API : tout s'exécute dans votre navigateur.
Choisissez un point de départ
Tout autoriser, tout bloquer, ou partir d'un jeu de règles vierge.
Ajoutez des règles par robot
Définissez un user-agent, puis ajoutez des chemins Disallow/Allow ; les puces d'ajout rapide couvrent les cas courants.
Copiez ou téléchargez
Récupérez le texte directement, ou téléchargez-le en robots.txt prêt à être déposé à la racine de votre site.
Questions fréquentes
À la racine de votre domaine : https://exemple.fr/robots.txt. Il ne sera lu nulle part ailleurs, y compris dans les sous-répertoires.
Non. Disallow indique aux robots bien élevés de ne pas récupérer une page, mais si d'autres sites y font un lien, Google peut quand même indexer l'URL sans la visiter. Utilisez une balise meta noindex sur la page elle-même si vous avez besoin d'une garantie.
C'est un vrai arbitrage actuel, sans réponse unique : les bloquer garde votre contenu hors des données d'entraînement de cette entreprise, mais aussi hors des surfaces de recherche/réponse par IA qui envoient de plus en plus de trafic de référence. Décidez bot par bot, ne bloquez pas par défaut.
Un Disallow: vide sans chemin signifie "ne rien interdire" : cela équivaut à tout autoriser pour ce user-agent, et constitue une syntaxe valide et intentionnelle pour un bloc "tout autoriser".
Autres outils gratuits
Générateur de balises meta
Créez titre, description et balises sociales
Aperçu de l'extrait SERP
Prévisualisez l'apparence d'une page sur Google
Générateur de balisage Schema
Ajoutez des données structurées pour les résultats enrichis, prêtes en JSON-LD
Testeur d'image OG
Vérifiez vos balises open graph et testez l'image og
Lectures associées
A Practical Guide to robots.txt and Sitemap.xml for SEO and AI Crawlers
What each file actually controls, the mistakes that accidentally block crawlers (human search engines and AI ones alike), and how to verify both are configured correctly.
Technical SEO Audit Checklist: 30+ On-Page & Technical Factors
Titles, canonical tags, structured data, crawlability, redirect chains - a concrete checklist instead of vague 'improve your SEO' advice.
Vous voulez confirmer que les robots atteignent vraiment vos pages ?
Lancez un audit de site gratuit pour vérifier ensemble l'explorabilité, l'indexabilité et la préparation aux agents IA.
Lancer l'audit gratuit