AI クローラーを検証する

graph LR
A[Cloudflare アカウントを<br>セットアップ] --> B[AI クローラーを<br>検証する]:::highlight
B --> C[有料コンテンツを<br>発見する]
C --> D[Stripe に<br>接続する]
D --> E[ページをクロール]
classDef highlight fill:#F6821F,color:white

Stripe アカウントを接続したら、AI クローラーを検証済みボットとして設定します。

コンテンツアクセスの制限

AI クローラーが pay per crawl で保護されたコンテンツにアクセスしようとすると、HTTP ステータスコード 402 を受け取ります。これは支払いが必要であることを示します。レスポンスの HTTP ヘッダーに、コンテンツの料金が含まれます。

たとえば、レスポンスヘッダーは次のようになります。

HTTP/2 402
date: Fri, 06 Jun 2025 08:42:38 GMT
content-type: text/plain; charset=utf-8
crawler-price: USD 0.01
server: cloudflare

このコンテンツにアクセスするには、AI クローラーを検証する必要があります。

1. Web Bot Auth プロトコルに従う

AI クローラーが、Web Bot Auth に必要なヘッダーで自身を識別するようにします。

手順は Web Bot Auth を参照してください。

2. 検証済みボットのポリシーに従う

AI クローラーが Cloudflare の検証済みボットポリシーに従うようにします。

3. 検証リクエストを送信する

フォームを送信して、AI クローラーを Cloudflare の検証済みボット一覧に追加します。

Cloudflare ダッシュボードで、Manage Account > Settings を開きます。
Configurations を開く ↗
Bot Submission Form タブを開きます。
次の必須情報をフォームに入力します。
- Select bot type: Verified Bot または Signed Agent を選びます。
- Verification Method: Request Signature を選択します。
- User-Agents header values: ボットが使う User-Agent 文字列を指定します。
- User-Agents Match Pattern: User-Agent に一致する部分文字列パターンを指定します（例: GoogleBot | GoogleScraper）。
Submit を選択します。