Vérificateur de robots d'IA
Voyez robot par robot lesquels votre robots.txt autorise ou bloque, et si vous pouvez être cité dans les réponses de ChatGPT, Claude et Perplexity.
Ce que montre le vérificateur
Tous les principaux robots d'IA, testés contre vos règles robots.txt.
Robots de recherche et d'utilisateur
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot et d'autres qui décident des citations.
Robots d'entraînement
GPTBot, ClaudeBot, Google-Extended et d'autres robots qui collectent des données pour entraîner des modèles.
Résultat par robot
Chaque robot est évalué selon son propre groupe robots.txt, comme le font les robots.
Accès de Google
Confirme que Googlebot atteint la page, car AI Overviews utilise l'index de Google.
Comment ça marche
Saisissez une URL
Une page de votre site, pour tester aussi les règles propres à un chemin.
Nous lisons robots.txt
Les règles sont appliquées par robot selon la norme robots.txt.
Décidez quoi autoriser
Autorisez les robots de recherche pour être cité, bloquez ceux d'entraînement si vous le souhaitez.
Seul robots.txt est vérifié. Un pare-feu, la protection anti-robots d'un CDN ou une limitation de débit peuvent quand même bloquer les robots d'IA.
Questions
Non. GPTBot collecte des données d'entraînement. La recherche ChatGPT utilise OAI-SearchBot et ChatGPT-User récupère des pages à la demande d'un utilisateur. Vous pouvez bloquer GPTBot et rester cité.
Bloquer les robots d'entraînement est un choix légitime. Bloquer ceux de recherche et d'utilisateur vous retire des réponses de l'IA, ce que la plupart des sites veulent éviter.
Non. Google-Extended contrôle l'usage pour l'entraînement et l'ancrage de Gemini. AI Overviews provient de l'index Google habituel.
Vérifiez votre préparation complète à la recherche IA
Contenu qui répond d'abord, signaux d'entité et données structurées en plus de l'accès des robots.
Lancer l'audit gratuit