AI クローラーにドキュメントのクロールを許可すると、エンドユーザーは使い慣れた AI ツールから有用な情報を取り出せます。たとえば、ページ全体を読む代わりに、ChatGPT や Gemini などのツールへドキュメントについて質問できます。一方で、良い結果を得るには、AI クローラーとサイトのやり取りを制御することが重要です。
まず、AI クローラーにクロールさせたいページを決めます。大半のページはアクセスさせつつ、一部だけ例外にしたい場合もあります。
robots.txt ファイルで、AI クローラーがアクセスできるページを制御できます。クローラーへルールを伝える単純なテキストファイルです。従う義務はありませんが、Google や OpenAI など主要企業が運用する多くのクローラーは robots.txt を尊重します。詳細は robots.txt の設定 を参照してください。
たとえば、/docs-site/product-a/ にあるベータ製品「Product A」へのアクセスを AI クローラーに禁止するには、robots.txt に次を追加します。
User-agent: *
Disallow: `/product-a/`robots.txt で明示的な disallow 条件を書くと、大半のページは許可し、例外だけを少数に抑えられます。
例として https://developers.cloudflare.com/robots.txt ↗ を参照してください。
特定のページへのクローラーアクセスを完全に止めたい場合もあります。クローラーは robots.txt に従う義務がないため、robots.txt だけに頼ってはいけません。
完全にブロックするには、Cloudflare の AI Crawl Control、ボット対策、またはほかのセキュリティツールなどのセキュリティ制御を使います。
事例: GitHub プレビューサイト
Cloudflare の開発者ドキュメントは cloudflare-docs の GitHub リポジトリ ↗ で公開しています。pull request を作成するたびに、本番へマージしたときの見た目を確認するための一時的なプレビューサイトを生成します。プレビューサイトはレビュー中の pull request から作るため、情報が未完成のことがあります。
2025年11月、AI Crawl Control で確認したところ、AI クロールの最大 80% がメインサイトではなくプレビューサイトへアクセスしていました。そのため AI クローラーは不正確な情報を返しやすく、ハルシネーションのように見えることがありました。
発覚後、まずプレビューサイトにアクセスを禁止する robots.txt を置きました。これでこれらのサイトへのクロールは 80% から 20% に減りました。
未完成情報へのアクセスをさらに減らすため、プレビューサイトへのアクセスをすべて止める セキュリティルール をすぐに導入しました。クロール数は 20% から 0% になりました（セキュリティルールがプレビューサイトへのアクセスを完全にブロックしました）。
この変更により、ユーザーへ返す情報の正確さが大きく向上し、ドキュメント体験も改善したと考えられます。
この事例は、AI クローラーとドキュメントサイトの関わりを把握し制御することの重要性を示します。ドキュメントは信頼できる情報源であり、AI の正確性、関連性、顧客体験に影響します（ChatGPT、Gemini、Claude のような第三者アプリケーション経由であっても同じです）。
- AI クローラーにアクセスさせたいページを特定します。
- AI クローラーを案内したい場合は、
robots.txtで指示します。 - 特定ページへの AI クローラーアクセスを完全に止めたい場合は、Cloudflare の AI Crawl Control、ボット対策、またはほかのセキュリティツールでブロックします。
- ドキュメントサイトがプレビューサイトを生成する場合は、エンドユーザー体験を良くするため、AI クローラーがそれらのサイトへアクセスしていないことを確認します。