テクニカル SEO
robots.txt テスター・バリデーター
robots.txt を検証し、Googlebot、Bingbot、AI クローラーがサイトの任意の URL を取得できるかをテストします。
チェック内容
構文、構造、実際のアクセス判定。
URL テスター
robots.txt の標準に沿って、任意のパスを任意のユーザーエージェントでテストします。
構文チェック
不明なディレクティブ、グループ外のルール、サポートされていない noindex 行。
Sitemap 行
サイトマップが完全な URL で宣言されているか。
ステータスとサイズ
サーバーエラーや、Google の 500KB 上限を超えるファイル。
使い方
サイトを入力
パスを追加し、クローラーを選びます。
robots.txt を取得
ルールをグループに分けて確認します。
結果を確認
許可かブロックか、見つかった構文の問題を表示します。
テストするのは公開中の robots.txt です。変更はクローラーがファイルを再取得したときに反映されます。
FAQ
よくある質問
サイト、パス、ユーザーエージェントを入力してください。そのクローラーがパスを取得できるかを表示します。
Google は 2019 年に robots.txt の noindex のサポートを終了しました。meta robots タグか X-Robots-Tag ヘッダーを使ってください。
404 の場合はすべて許可とみなされます。5xx の場合、Google はファイルを読めるようになるまでサイトをブロック扱いにします。