Skip to content

非公式 / UnofficialCloudflare, Inc. 非提携。アカウント情報は入力しないでください。Not affiliated with Cloudflare, Inc. Do not enter Cloudflare credentials here.Official docsこのサイトについてプライバシー

AI クローラーを管理する

最終更新 Markdown で表示Agent セットアップ

AI Crawl Control では、AI クローラーごとに個別のアクションを取れます。

AI クローラーを管理するには:

  1. Cloudflare ダッシュボード ↗ にログインし、アカウントとドメインを選択します。

  2. AI Crawl Control に移動します。

    公式ダッシュボードで AI Crawl Control を開く ↗
  3. Security タブに移動します。

AI クローラーのアクティビティを確認する

Crawlers タブには、コンテンツへのアクセスを要求している AI クローラーと、ページとのやり取りが一覧表示されます。表には次の情報があります。

列 内容
Crawler AI クローラーの名前と、所有するオペレーターです。
Category AI クローラーのカテゴリです。検証済みボットのカテゴリ を参照してください。
Requests 許可されたリクエストと失敗したリクエストの合計と、トレンドチャートです。失敗したリクエストは、AI Crawl Control のブロックアクションだけでなく、任意のルールやレスポンスエラーに起因する場合があります。
Robots.txt violations AI クローラーが robots.txt ファイルに違反した回数です。
Action その AI クローラーに対して取るアクションです。AI クローラーごとにアクションを取る を参照してください。

AI クローラーのデータを絞り込む

フィルターで結果の範囲を狭められます。

  • Name: AI クローラーの名前で検索します。
  • Operator: AI クローラーのオペレーターで絞り込みます。
  • Category: AI クローラーのカテゴリ(AI crawler、AI assistant、archiver など)で絞り込みます。

表の値は、フィルターに応じて更新されます。

AI クローラーごとにアクションを取る

各 AI クローラーについて、アクセスの許可またはブロックを選べます。

アクセスを許可する

  • 概要: AI クローラーによるコンテンツのスクレイピングを許可できます。
  • 使う場面: 引用、紹介、既存の合意など、価値を提供するサービスを持つ AI クローラーを許可します。
  • 実装: Actions 列で Allow を選択します。

Enforce robots.txt を選ぶこともできます。

アクセスをブロックする

  • 概要: AI クローラーをブロックし、ウェブページのスクレイピングを完全に止められます。
  • 使う場面: 行動がコンテンツ戦略に合わない場合や、ポリシーに違反する場合にブロックします。
  • 実装: Actions 列で Block を選択します。

ブロック時に返すレスポンスは設定できます。ブロックレスポンスを設定する を参照してください。

各 AI クローラーについて、許可、課金、ブロックの 3 つのアクションから選べます。

アクセスを許可する

  • 概要: AI クローラーによるコンテンツのスクレイピングを許可できます。
  • 使う場面: 引用、紹介、既存の合意など、価値を提供するサービスを持つ AI クローラーを許可します。
  • 実装: Actions 列で Allow を選択します。 Enforce robots.txt を選ぶこともできます。

Cloudflare が AI ボットトラフィックをどう分類するかは、AI bots を参照してください。

アクセスをブロックする

  • 概要: AI クローラーをブロックし、ウェブページのスクレイピングを完全に止められます。
  • 使う場面: 行動がコンテンツ戦略に合わない場合や、ポリシーに違反する場合にブロックします。
  • 実装: Actions 列で Block を選択します。

ブロック時に返すレスポンスは設定できます。ブロックレスポンスを設定する を参照してください。

クロールに課金する(プライベートベータ)

  • 概要: 成功したクロールリクエストごとに、AI クローラーの所有者に課金できます。
  • 使う場面: コンテンツに学習価値があり、収益化の選択肢を探したい場合に課金します。
  • 実装: Actions 列で Charge を選択します。

詳細は Pay Per Crawl とは を参照してください。

WAF ルールの管理

AI Crawl Control でクローラーをブロックすると、そのブロックを適用するため、ゾーン上の WAF カスタムルールが作成または更新されます。パスベースの例外や追加のユーザーエージェントなど、高度なシナリオでは、このルールを WAF 上で直接拡張できます。

詳細は AI Crawl Control と Cloudflare WAF を参照してください。

ブロックレスポンスを設定する

有料プランで利用できます

AI クローラーをブロックするとき、返すレスポンスの内容を設定できます。具体的には次を設定できます。

  • レスポンスコード
  • レスポンス本文

これにより、AI クローラーの所有者と対話するチャネルができ、コンテンツの適切なライセンス方法を伝えられます。クロール試行から商用契約への直接的な経路になります。

これらの値を編集するには:

  1. Cloudflare ダッシュボード ↗ にログインし、アカウントとドメインを選択します。

  2. AI Crawl Control に移動します。

    公式ダッシュボードで AI Crawl Control を開く ↗
  3. Settings タブに移動します。

  4. Block response で Edit を選択します。

  5. 値を編集したら、Save を選択します。

レスポンスコードを編集する

AI クローラーをブロックするときに返す HTTP レスポンスコードを選べます。

ドロップダウンメニューから目的のレスポンスコードを選択します。次から選べます。

  • 403 Forbidden: AI クローラーにコンテンツへアクセスさせたくないことを示す場合に使います。
  • 402 Payment Required: コンテンツへアクセスするには支払いが必要であることを示す場合に使います。

レスポンス本文を編集する

AI クローラーをブロックするときに返すカスタムメッセージ(HTTP レスポンス本文)を書けます。

Response body テキストフィールドに、AI クローラーへ表示するレスポンスをプレーンテキストで入力します。

関連リソース

役に立ちましたか?