AI クローラーは、大量の Web コンテンツを消費することがよくあります。検索エンジン向けにコンテンツをインデックスしてコンテンツオーナーに相互利益を提供するものもあれば、許可なくコンテンツをスクレイピングするものもあります。
その結果、コンテンツオーナーは AI クローラーの管理や、知的財産への自動アクセスに対する対価の受け取りについて、選べる手段が限られています。
Pay per crawl は AI Crawl Control の機能です。サイトオーナーがゾーンごとに料金を設定し、AI クローラーによるコンテンツアクセスを制御・収益化できます。
AI クローラーがコンテンツをリクエストするたびに、成功した HTTP 200 アクセス向けにリクエストヘッダーで支払い意思を示すか、料金付きの HTTP 402 Payment Required レスポンスを受け取ります。Cloudflare は pay per crawl の Merchant of Record として機能し、基盤となる技術インフラも提供します。
最終的に、pay per crawl で次が可能になります。
- サイトオーナーはコンテンツを自ら管理し、AI クローラーが Cloudflare ゾーン 内のページにアクセスするたびに料金を請求できます。詳細は サイトオーナーとして pay per crawl を使う を参照してください。
- AI クローラーのオーナーは、pay per crawl で保護されたサイト上のコンテンツへアクセスするために支払えます。詳細は AI オーナーとして pay per crawl を使う を参照してください。
次のリソースを参照してください。