AI Crawl Control では、AI クローラーごとに個別のアクションを取れます。
AI クローラーを管理するには:
-
Cloudflare ダッシュボード ↗ にログインし、アカウントとドメインを選択します。
-
AI Crawl Control に移動します。
AI Crawl Control を開く ↗ -
Security タブに移動します。
Crawlers タブには、コンテンツへのアクセスを要求している AI クローラーと、ページとのやり取りが一覧表示されます。表には次の情報があります。
| 列 | 内容 |
|---|---|
| Crawler | AI クローラーの名前と、所有するオペレーターです。 |
| Category | AI クローラーのカテゴリです。検証済みボットのカテゴリ を参照してください。 |
| Requests | 許可されたリクエストと失敗したリクエストの合計と、トレンドチャートです。失敗したリクエストは、AI Crawl Control のブロックアクションだけでなく、任意のルールやレスポンスエラーに起因する場合があります。 |
| Robots.txt violations | AI クローラーが robots.txt ファイルに違反した回数です。 |
| Action | その AI クローラーに対して取るアクションです。AI クローラーごとにアクションを取る を参照してください。 |
フィルターで結果の範囲を狭められます。
- Name: AI クローラーの名前で検索します。
- Operator: AI クローラーのオペレーターで絞り込みます。
- Category: AI クローラーのカテゴリ（AI crawler、AI assistant、archiver など）で絞り込みます。
表の値は、フィルターに応じて更新されます。
各 AI クローラーについて、アクセスの許可またはブロックを選べます。
アクセスを許可する
- 概要: AI クローラーによるコンテンツのスクレイピングを許可できます。
- 使う場面: 引用、紹介、既存の合意など、価値を提供するサービスを持つ AI クローラーを許可します。
- 実装: Actions 列で Allow を選択します。
Enforce robots.txt を選ぶこともできます。
アクセスをブロックする
- 概要: AI クローラーをブロックし、ウェブページのスクレイピングを完全に止められます。
- 使う場面: 行動がコンテンツ戦略に合わない場合や、ポリシーに違反する場合にブロックします。
- 実装: Actions 列で Block を選択します。
ブロック時に返すレスポンスは設定できます。ブロックレスポンスを設定する を参照してください。
各 AI クローラーについて、許可、課金、ブロックの 3 つのアクションから選べます。
アクセスを許可する
- 概要: AI クローラーによるコンテンツのスクレイピングを許可できます。
- 使う場面: 引用、紹介、既存の合意など、価値を提供するサービスを持つ AI クローラーを許可します。
- 実装: Actions 列で Allow を選択します。
Enforce
robots.txtを選ぶこともできます。
Cloudflare が AI ボットトラフィックをどう分類するかは、AI bots を参照してください。
アクセスをブロックする
- 概要: AI クローラーをブロックし、ウェブページのスクレイピングを完全に止められます。
- 使う場面: 行動がコンテンツ戦略に合わない場合や、ポリシーに違反する場合にブロックします。
- 実装: Actions 列で Block を選択します。
ブロック時に返すレスポンスは設定できます。ブロックレスポンスを設定する を参照してください。
クロールに課金する（プライベートベータ）
- 概要: 成功したクロールリクエストごとに、AI クローラーの所有者に課金できます。
- 使う場面: コンテンツに学習価値があり、収益化の選択肢を探したい場合に課金します。
- 実装: Actions 列で Charge を選択します。
詳細は Pay Per Crawl とは を参照してください。
AI Crawl Control でクローラーをブロックすると、そのブロックを適用するため、ゾーン上の WAF カスタムルールが作成または更新されます。パスベースの例外や追加のユーザーエージェントなど、高度なシナリオでは、このルールを WAF 上で直接拡張できます。
詳細は AI Crawl Control と Cloudflare WAF を参照してください。
AI クローラーをブロックするとき、返すレスポンスの内容を設定できます。具体的には次を設定できます。
- レスポンスコード
- レスポンス本文
これにより、AI クローラーの所有者と対話するチャネルができ、コンテンツの適切なライセンス方法を伝えられます。クロール試行から商用契約への直接的な経路になります。
これらの値を編集するには:
-
Cloudflare ダッシュボード ↗ にログインし、アカウントとドメインを選択します。
-
AI Crawl Control に移動します。
AI Crawl Control を開く ↗ -
Settings タブに移動します。
-
Block response で Edit を選択します。
-
値を編集したら、Save を選択します。
AI クローラーをブロックするときに返す HTTP レスポンスコードを選べます。
ドロップダウンメニューから目的のレスポンスコードを選択します。次から選べます。
403 Forbidden: AI クローラーにコンテンツへアクセスさせたくないことを示す場合に使います。402 Payment Required: コンテンツへアクセスするには支払いが必要であることを示す場合に使います。
AI クローラーをブロックするときに返すカスタムメッセージ（HTTP レスポンス本文）を書けます。
Response body テキストフィールドに、AI クローラーへ表示するレスポンスをプレーンテキストで入力します。
- Pay Per Crawl を使い、コンテンツへアクセスするたびに AI クローラーへ課金します。
- WAF との連携や高度なルールカスタマイズは、AI Crawl Control と Cloudflare WAF で確認できます。