AI クローラーチェッカー
robots.txt がどの AI ボットを許可・ブロックしているかをボットごとに確認し、ChatGPT、Claude、Perplexity の回答で引用されうるかを把握できます。
表示される内容
主要な AI クローラーを、robots.txt のルールに照らしてすべて確認します。
検索ボットとユーザーボット
引用を左右する OAI-SearchBot、ChatGPT-User、Claude-SearchBot、PerplexityBot など。
学習用ボット
モデル学習のためにデータを収集する GPTBot、ClaudeBot、Google-Extended など。
ボットごとの結果
クローラーと同じ方法で、各ボットをそれぞれの robots.txt グループで判定します。
Google のアクセス
AI による概要は Google のインデックスを使うため、Googlebot がページに到達できるか確認します。
使い方
URL を入力
パス単位のルールも確認できるよう、サイト内のページを入力します。
robots.txt を読み込む
robots.txt の標準に沿ってボットごとにルールを照合します。
許可する範囲を決める
引用されるには検索ボットを許可し、必要なら学習用ボットをブロックします。
確認するのは robots.txt のみです。ファイアウォール、CDN のボット対策、レート制限によって AI クローラーがブロックされる場合もあります。
よくある質問
いいえ。GPTBot は学習データを収集します。ChatGPT 検索は OAI-SearchBot を使い、ChatGPT-User はユーザーの依頼でページを取得します。GPTBot をブロックしても引用されることは可能です。
学習用ボットのブロックは正当な選択です。検索ボットやユーザーボットをブロックすると AI の回答に表示されなくなり、多くのサイトにとって望ましくありません。
いいえ。Google-Extended は Gemini の学習とグラウンディングへの利用を制御します。AI による概要は通常の Google インデックスから作られます。