ページをクロールする

graph LR
A[Cloudflare アカウント<br>をセットアップ] --> B[AI クローラー<br>を検証]
B --> C[有料コンテンツ<br>を発見]
C --> D[Stripe<br>に接続]
D --> E[ページをクロール]:::highlight
classDef highlight fill:#F6821F,color:white

AI クローラーが Web Bot Auth に対応したら、Web ページのクロールを開始できます。Pay Per Crawl の仕組みの詳細は、Pay Per Crawl とは を参照してください。

AI クローラーが Pay Per Crawl で保護されたページにリクエストすると、サーバーは HTTP/2 402 Payment Required を返します。この応答には、コンテンツへのアクセス料金を示す crawler-price ヘッダーも含まれます。応答の例は次のとおりです。

HTTP/2 402
date: Fri, 06 Jun 2025 08:42:38 GMT
crawler-price: USD 0.01

このコンテンツにアクセスするには、AI クローラーが有料アクセス用のヘッダーを付ける必要があります。

AI クローラーは、次のいずれか一方のヘッダーで、支払う意思のある価格を指定できます。

• crawler-exact-price: AI クローラーがアクセスに支払うよう設定した正確な価格です。応答ヘッダー crawler-price の価格と完全に一致させてください。最初のリクエストで HTTP ステータスコード 402 を受け取り、crawler-price を支払ってコンテンツにアクセスする場合は、2 回目のリクエストにこのヘッダーを含めます。
• crawler-max-price: AI クローラーが任意のコンテンツのアクセスに支払うよう設定した上限価格です。クロール価格がこの上限以下の Pay Per Crawl コンテンツにアクセスしたい場合に使います。ページの crawler-price が crawler-max-price より高い場合、AI クローラーは HTTP 402 応答を受け取ります。

リクエストに署名する の手順に従い、Web Bot Auth ヘッダーを含めます。

支払いを示すヘッダーを指定すると、次のいずれか一方の応答が返ることがあります。

crawler-charged ヘッダーの値は、そのリクエストに対して Cloudflare アカウントへ請求される正確な金額を示します。

HTTP 200
date: Fri, 06 Jun 2025 08:42:38 GMT
crawler-charged: USD 0.01

リクエストが失敗すると、具体的な問題を示す crawler-error ヘッダー付きのエラー応答が返ります。

HTTP/2 402
date: Fri, 06 Jun 2025 08:42:38 GMT
content-type: text/plain; charset=utf-8
crawler-price: USD 0.01
crawler-error: InvalidCrawlerExactPrice

エラーコードの一覧とトラブルシューティングは、Pay Per Crawl のエラーコード を参照してください。

Pay Per Crawl コンテンツへのアクセスに成功する（HTTP ステータスコード 200 の応答）と、応答に crawler-charged が含まれます。例:

crawler-charged: USD 0.01

AI クローラーが累積した請求を正確に把握するため、これらの値を追跡して保存することを強く推奨します。

次のリソースも参照できます。

• 有料コンテンツを発見する
• Pay Per Crawl のエラーコード
• Pay Per Crawl のよくある質問