構文を覚えなくてもrobots.txtを作成できる
起点を選び、主要なクローラーやパス向けのクイック追加チップでUser-agentブロックを追加し、完成したファイルをコピーまたはダウンロードしましょう。
User-agent: * Disallow:
このツールでできること
クロールを実際に制御するディレクティブ。
AIクローラーの制御
GooglebotやBingbotに加え、GPTBot、ClaudeBot、PerplexityBotのクイック追加チップを用意し、検索クローラーと同じくらい意図的にAIクローラーを許可・ブロックできます。
クロールバジェットの整理
管理画面、カートページ、サイト内検索結果からクローラーを締め出し、実際にインデックスしたいページによりクロール時間を割かせます。
サイトマップの検出
Sitemap:ディレクティブを追加し、別途送信しなくてもクローラーがsitemap.xmlを見つけられるようにします。
使い方
アカウント登録もAPI呼び出しも不要、すべてブラウザ内で完結します。
起点を選ぶ
すべて許可、すべてブロック、または空のルールセットから開始します。
クローラーごとにルールを追加
User-agentを設定し、Disallow/Allowパスを追加します。クイック追加チップで主要なものをカバーできます。
コピーまたはダウンロード
テキストを直接取得するか、サイトのルートにアップロードできるrobots.txtとしてダウンロードします。
よくある質問
ドメインのルート、https://example.com/robots.txtです。サブディレクトリを含め、それ以外の場所では読み取られません。
いいえ。Disallowは行儀の良いクローラーにページの取得を控えるよう伝えるものですが、他のサイトからリンクされていれば、Googleは訪問せずにそのURLをインデックスすることがあります。保証が必要な場合は、ページ自体にnoindexメタタグを設定してください。
唯一の正解がない、現実的な判断が求められる問題です。ブロックすればそのAI企業の学習データからコンテンツを除外できますが、同時に、参照トラフィックを増やしつつあるAI検索・回答面からも除外されます。ボットごとに判断し、一律にブロックしないことをおすすめします。
パスを指定しない空のDisallow:は「何も禁止しない」ことを意味し、そのUser-agentに対してすべてを許可するのと同等です。「すべて許可」ブロックとして有効かつ意図的な構文です。
他の無料ツール
関連記事
A Practical Guide to robots.txt and Sitemap.xml for SEO and AI Crawlers
What each file actually controls, the mistakes that accidentally block crawlers (human search engines and AI ones alike), and how to verify both are configured correctly.
Technical SEO Audit Checklist: 30+ On-Page & Technical Factors
Titles, canonical tags, structured data, crawlability, redirect chains - a concrete checklist instead of vague 'improve your SEO' advice.
クローラーが実際にページへアクセスできているか確認したいですか?
無料のウェブサイト監査で、クロール可能性、インデックス可能性、AIエージェント対応状況をまとめてチェックしましょう。
無料監査を実行