AI Crawl Control の指標では、AI クローラーがウェブサイト（Cloudflare ゾーン）とどうやり取りしているかを把握できます。
AI Crawl Control の指標を表示するには:
-
Cloudflare ダッシュボード ↗ にログインし、アカウントとドメインを選択します。
-
AI Crawl Control に移動します。
AI Crawl Control を開く ↗
意味のある情報は、Overview、Crawlers、Metrics の各タブにあります。
Overview タブは、AI クローラー活動のスナップショットです。
| コンポーネント | できること |
|---|---|
| Executive summary | 総リクエスト量、量の変化、最多のステータスコード、最も人気のパス、大量リクエストのクローラー活動を確認します。 |
| Managed robots.txt status | ゾーンで Cloudflare managed robots.txt が有効かどうかを確認します。 |
| Metrics with trend charts | 総リクエスト、許可されたリクエスト、失敗したリクエスト、総リファラル（有料プランのみ）を監視します。 |
| Crawlers grouped by operators | 企業（OpenAI、Microsoft、Google、ByteDance、Anthropic、Meta）ごとに整理されたクローラーを確認します。許可リクエスト、リファラル（有料プランのみ）、活動の変化率を表示します。クローラーまたはオペレーターを選択すると、Crawlers タブで詳細を確認できます。 |
| Filters | 日付範囲、クローラー、オペレーター、ホスト名、パスで表示を絞り込みます。すべての指標は動的に更新されます。 |
Crawlers タブでは、個々の AI クローラーの詳細を確認し、Block または Allow の制御を設定できます。
| 列 | 説明 |
|---|---|
| Crawler | AI クローラーの名前です。 |
| Operator | クローラーを運用する企業です。 |
| Data transfer | このクローラーのリクエストが消費した帯域の合計です。KB、MB、GB で表示されます。 |
| Requests | このクローラーからのリクエスト総数です。 |
| Action | 現在のアクセス制御設定（Allow または Block）です。 |
クローラーアクセスの管理について詳しくは、AI クローラーを管理する を参照してください。
Metrics タブでは、AI クローラーとサイトのやり取りを把握するための詳細な分析とチャートを確認できます。
選択した期間のクローラー活動パターンを可視化します。ビューセレクターで指標を切り替えます。
| ビュー | 説明 |
|---|---|
| All requests | ブロックとエラー応答を含む総リクエストです。 |
| Allowed requests | 成功応答（ステータス 200-299）を受け取ったリクエストです。 |
| Data transfer | 許可されたリクエストの帯域消費を時系列で表示します。KB、MB、GB 形式です。 |
データを次のディメンションでグループ化できます。
| ディメンション | 説明 |
|---|---|
| Crawler | 個々の AI クローラー（GPTBot、ClaudeBot、Bytespider など）の活動を追跡します。 |
| Category | 目的や種別でクローラーを分析します。 |
| Operator | どの企業（OpenAI、Anthropic、ByteDance など）がサイトをクロールしているかを確認します。 |
| Host | 複数のサブドメインにわたる活動を分解します。 |
Status code distribution チャートは、AI クローラーリクエストの HTTP 応答コードを時系列で示します。
- 2xx — 成功応答
- 3xx — リダイレクト
- 4xx — クライアントエラー（403 ブロックと 402 支払い要求を含む）
- 5xx — サーバーエラー
このチャートで、サイトが AI クローラーにどう応答しているか、エラーコードの分布とリダイレクト量を把握できます。
Content Format チャートは、AI システムが要求するコンテンツタイプと、オリジンが返すコンテンツタイプを比較します。コンテンツネゴシエーションの傾向を把握し、AI システムへの配信を最適化できます。
チャートには 3 つのビューがあります。
| ビュー | 説明 |
|---|---|
| Comparison | 要求されたコンテンツタイプと配信されたコンテンツタイプを比較するグループ化棒グラフです |
| Request Type | Accept ヘッダーごとのリクエスト内訳です |
| Response Type | Content-Type ヘッダーごとの応答内訳です |
リファラー分析でトラフィック源を特定し、AI オペレーターからの発見パターンとコンテンツの人気を把握します。
| ビュー | 説明 |
|---|---|
| Referral sources | サイトへ AI 経由のリファラルを送っている上位ドメインです（例: chatgpt.com、perplexity.ai）。 |
| Destination patterns | AI 経由のリファラルが最も多いサイト領域です。パターン（例: /blog/*、/api/*）でグループ化されます。 |
Top referrers セクションのタブでビューを切り替えます。
選択した期間のリファラルトラフィックの傾向を追跡します。グループ化の軸:
| ディメンション | 説明 |
|---|---|
| Operator | 企業（OpenAI、Anthropic など）ごとのリファラルを積み上げ面グラフで表示します。 |
| Source | トラフィックを生む上位リファラル URL です。 |
| Total | リファラル量の合計です。 |
Most popular paths テーブルは、AI クローラーが最も頻繁にリクエストするページを示します。
| 列 | 説明 |
|---|---|
| Path | リクエストされたページパスです。 |
| Hostname | リクエストされたページのホスト名です。 |
| Referrals | AI プラットフォームからの、このパスへのリファラル訪問数です。 |
| Allowed requests | このパスへの成功リクエスト数です。 |
パスごとのクローラー内訳を見るには、上位のフィルターを使います。
Patterns タブを選択すると、URI パターン（/blog/*、/api/v1/*、/docs/* など）でリクエストがグループ化されます。AI クローラーが狙うサイト領域を素早く特定できます。
パターングループ化は、個別パスをサイト領域に集約します。
- パターンの深さは最大 2 レベルです（例:
/api/*、/api/v1/*） - ルートパターン
/*はサイト全体のトラフィックを示します - パターンはホスト名をまたいで集約されません
- 単一パスのパターンはワイルドカードなしで表示されます（例:
sitemap.xml/*ではなくsitemap.xml）
追加のタブ:
- All — コンテンツとメディアのリクエストを合わせた表示（個別パス。パターンではありません）
- Content — HTML、JSON、テキストコンテンツ
- Media — 画像、動画、その他のメディアファイル
フィルターバーで、複数の条件から分析を絞り込めます。
| フィルター | 説明 |
|---|---|
| Date range | 分析する期間を選びます。 |
| Crawler | 特定の AI クローラーに絞ります。 |
| Operator | 特定の企業に絞ります。 |
| Hostname | 特定のサブドメインに絞ります。 |
| Path | 特定の URL パスまたはパターンに絞ります。 |
複数フィルターを組み合わせて、複雑な分析ができます。指標とチャートは、フィルター選択に応じて動的に更新されます。
データをエクスポートするには、Download CSV または Download image を選択します。ダウンロードには、適用中のフィルターとグループ化が含まれます。
Crawlers タブには、各クローラーのアクションメニューがあります。選択肢は次のとおりです。
| アクション | 説明 |
|---|---|
| View Metrics | Metrics タブを、選択したクローラーでフィルターします。 |
| View on Cloudflare Radar | 検証済みクローラーの詳細を Cloudflare Radar で確認します。 |
| View in Security Analytics | Security Analytics を検出 ID でフィルターします（Bot Management のお客様）。 |
| Copy User Agent | WAF カスタムルール、Redirect Rules、robots.txt で使える User-Agent 文字列をコピーします。 |
| Copy Detection ID | WAF カスタムルール で使える検出 ID をコピーします（Bot Management のお客様）。 |
AI Crawl Control の分析データへプログラムからアクセスするには、GraphQL Analytics API を使います。ダッシュボードと同じデータにアクセスできます。検出 ID、リファラーデータ、転送量指標を含みます。