このガイドでは、次の操作を説明します。
- ドメイン（Cloudflare ゾーン）のページとやり取りしている AI クローラーを確認します。
- AI Crawl Control で、個別のクローラーによるコンテンツへのアクセスをブロックします。
- Cloudflare アカウント ↗ に登録します。
- ドメインを Cloudflare に接続 します。
- ドメインが Cloudflare 経由でトラフィックをプロキシしている ことを確認します。
-
AI Crawl Control を開きます。
AI Crawl Control を開く ↗ -
Overview タブで、AI クローラーのアクティビティの概要を確認します。
-
フィルターで、特定の日付範囲、クローラー、オペレーター、ホスト名、パスごとのアクティビティを表示します。
特定の AI クローラーをブロックするには:
-
AI Crawl Control を開きます。
AI Crawl Control を開く ↗ -
Crawlers タブで、ドメインにアクセスしている AI クローラーを確認します。
-
Action 列で Block を選びます。
特定の AI クローラーをブロックするには:
-
AI Crawl Control を開きます。
AI Crawl Control を開く ↗ -
Crawlers タブで、ドメインにアクセスしている AI クローラーを確認します。
-
Action 列で Block を選びます。
詳細は AI クローラーの管理 を参照してください。
AI クローラーへの対応では、Cloudflare WAF を使って、より複雑なルールも作成できます。より具体的なルールの作成については、ダッシュボードでカスタムルールを作成する を参照してください。
より詳細な分析には、Metrics タブを使います。
-
AI Crawl Control を開きます。
AI Crawl Control を開く ↗ -
Metrics タブで、日付範囲、クローラー、オペレーター、ステータスコード、ホスト名、パスごとの内訳を確認します。
無料プランでは、Metrics タブは過去 24 時間の指標のみを表示します。
| すべてのプラン | Bot Management 付き Enterprise プラン |
|---|---|
| ユーザーエージェント文字列 ↗ による AI クローラー検出 | Bot Management detection ID による高度な AI クローラー検出 |
| 分析ウィンドウは最大 24 時間 | 分析の対象期間を設定可能 |
| 許可／ブロックの制御 | 許可／ブロックの制御に加え、pay per crawl で AI クローラーに課金できる |
- きめ細かい許可 / ブロック制御で AI クローラーを管理 します。
- AI トラフィックを分析 し、クローラーのパターンとコンテンツの人気を把握します。
- Pay Per Crawl を試す と、コンテンツ収益化の選択肢を検証できます（プライベートベータ）。
次の関連リソースを参照してください。
- Cloudflare ブログ: Start auditing and controlling the AI models accessing your content ↗
- 推奨ガイドラインに従わない AI クローラーを Cloudflare AI Labyrinth でブロックします。
- マネージド robots.txt で AI クローラーを誘導する。