Cloudflare の AI Crawl Control ドキュメントで使う用語の定義を確認します。
| 用語 | 定義 |
|---|---|
| AI crawler | AI モデルを支援するために Web サイトからコンテンツを収集するボットです。インデックス作成、検索拡張生成（RAG）、学習用のデータ収集などが含まれます。 |
| canonical URL | Web ページの優先バージョンです。ページの |
| category | クローラーが示す目的の分類です。「AI Crawler」「AI Search」「AI Assistant」「Search Engine」のいずれかです。クローラーごとに 1 つのカテゴリが割り当てられます。 |
| Content Signals | HTTP ヘッダーまたはメタデータで AI 向けコンテンツの利用意向を表す、策定中の IETF 標準です。ベンダー固有の非標準シグナルの置き換えを目指しています。詳細は contentsignals.org を参照してください。 |
| crawl | ボットがサイト上のページへアクセスするために行う、1 回の HTTP リクエストです。 |
| crawler | 企業が Web コンテンツへアクセスするために運用する、特定のボットです。1 つの運営者（OpenAI など）が複数のクローラー（GPTBot、ChatGPT-User）を運用する場合があります。 |
| In-band pricing | コンテンツと一緒に HTTP レスポンスヘッダーで伝える価格です。Pay Per Crawl では、オリジンが |
| Merchant of Record | 「売買」を仲介する主体です。Pay Per Crawl では、Cloudflare が Merchant of Record です。 |
| operator | AI クローラーを所有・運用する企業または組織です。例として OpenAI、Microsoft、Google、ByteDance、Anthropic、Meta があります。AI Crawl Control では、クローラーは運営者ごとにグループ化されます。 |
| Referrer | ユーザーが自ドメインを訪れる直前にいたサイトです。HTTP Referer ヘッダーで追跡します。AI Crawl Control では、リファラーデータから ChatGPT や Perplexity などの AI プラットフォーム経由のトラフィックを確認できます。 |
| robots.txt | Web サイトのルートに置くテキストファイルで、クローラーがアクセスしてよいページとアクセスしてはいけないページを指示します。遵守は任意です。AI Crawl Control は、robots.txt のルールに違反するクローラーの監視に役立ちます。 |