Verified bot は、Cloudflare が 身元と目的を隠さず示している と確認したボットまたはエージェントです。自分を正直に名乗り、その誠実さによって得たアクセスを悪用しません。例として、検索エンジンクローラー、監視サービス、ユーザー主導のエージェントがあります。
Verified であることは、次の 2 つの基準を満たすことを意味します。
- 誠実な自己識別 — 暗号学的な Web Bot Auth 署名、安定した user-agent 付きの公開 IP リスト、または逆引き DNS により、自分が誰かを決定的に宣言します。
- 非悪用の振る舞い —
robots.txtとクロール指示に従い、妥当なリクエストレートを維持し、サイト所有者の意向を回避したりサイトを攻撃したりしていないことが観測されています。
Cloudflare は、追跡する各ボットを振る舞い（サイト上で何をしてよいか）で分類します。1 つのボットが、次の振る舞いを 1 つ以上持つことがあります。
| 振る舞い | 説明 |
|---|---|
| Search | 検索インデックスまたは RAG データベース構築のためのクロール。 |
| Agent | 人間の代わりにページを訪問する、ユーザー指示のエージェント。 |
| Training | モデルの学習またはファインチューンのためのクロール。 |
| Transact | ユーザーの代わりに行うチェックアウトやその他の取引操作。 |
| Data Collection | 価格スクレイピング、競合インテリジェンスの収集、第三者分析。 |
| Security Testing | 脆弱性スキャンとペネトレーションテスト。 |
| SEO | SEO クロール、サイト監査、アクセシビリティ確認。 |
| Ads Verification | 広告配置の検証と広告不正の検知。 |
| Social / Link Preview | ソーシャルプラットフォームとメッセージアプリ向けのリンクプレビュー。 |
| Feed Fetching | RSS リーダー、ポッドキャストアグリゲーター、ニュースフィードボット。 |
| Monitoring & Operations | 稼働監視、webhook、ヘルスチェック。 |
Search、Agent、Training は、すべてのプランで操作できるマネージドプリセットとしても利用できます。詳細は AI ボット を参照してください。
Cloudflare は、すべての Verified bot またはエージェントに、運用方法のラベルも付けます。
| ラベル | 説明 |
|---|---|
| Direct | 単一の狭い運用者（通常は運用者自身のインフラ）が操作します。このボットとしてリクエストを送れるのは、その運用者だけです。 |
| Intermediary | 幅広いエンドユーザーが操作できるエージェントサービスです。運用者がソフトウェアを動かしますが、各操作は別のエンドユーザーが開始します。 |
Intermediary は多くの異なるエンドユーザーの代わりに動くため、運用者とエンドユーザーは同一の当事者ではありません。ここに 推移的な信頼 が生じます。Intermediary の運用者は信頼できても、それを動かすすべてのエンドユーザーを信頼できるとは限りません。Cloudflare は、エンドユーザーに関する情報を（RFC 7239 ↗ で定義された Forwarded ヘッダーを使って）転送する実験をしています。サイト所有者は、リクエストの最終的な責任者に対して意向を適用できます。
ボットまたはエージェントを Cloudflare のボットおよびエージェントディレクトリへ追加するには、Cloudflare ダッシュボードの オンライン申請 ↗ に記入します。
Cloudflare が Verified bot を承認すると、BotBase に表示され、Cloudflare Radar のボットおよびエージェントディレクトリ ↗ で共有されます。
ボットは、次のいずれかの検証方法で Verified になる必要があります。
検証要件のいずれかが破られると、サービスはグローバル許可リストから削除されます。
ポリシー違反の例は次のとおりです。
- Verified サービス専用ではない IP セットを追加する。
- サービス IP が攻撃者に侵害される。
- サービスに未修正の脆弱性がある。
- オンボーディング時に説明していない IP ブロックをリストへ追加する。
- 開示したサービスの目的が、実際のトラフィックと一致しない。
- robots.txt の crawl-delay ディレクティブを守らない AI クローラー。
学術研究
String value: Academic Research
定義: 学術研究または学術目的でデータを収集します。
例: Library of Congress、TurnItInBot、Bibliothèque nationale de France
アクセシビリティ
String value: Accessibility
定義: Web サイトをスキャンし、アクセシビリティを特定します。
例: Accessible Web Bot
広告またはマーケティング
String value: Advertising & Marketing
定義: 広告配置や成果追跡など、マーケティング作業を自動化します。
例: Google Adsbot
アグリゲーター
String value: Aggregator
定義: さまざまなオンラインソースからコンテンツを集め、1 か所にまとめます。
例: Pinterest、Indeed Jobsbot
AI Assistant
String value: AI Assistant
定義: ユーザー操作によって動く自動 AI ボットです。
例: Perplexity-User、DuckAssistBot
AI Crawler
String value: AI Crawler
定義: AI モデルの学習に使うコンテンツを求めて Web サイトをクロールします。
例: Google Bard、ChatGPT bot
AI Search
String value: AI Search
定義: AI 駆動の検索体験を支えます。
例: OAI-SearchBot
アーカイバー
String value: Archiver
定義: Web サイトのスナップショットを保存し、デジタルコンテンツを歴史記録として残します。
例: Internet Archive、CommonCrawl
フィード取得
String value: Feed Fetcher
定義: フィードから更新を取得し、リーダーやほかのアプリケーションを支えます。
例: RSS またはポッドキャストフィードの更新ボット
監視または分析
String value: Monitoring & Analytics
定義: Web サイトの稼働、性能、ユーザートラフィックを追跡し、主要な監視指標を集めます。
例: 稼働モニター
ページプレビュー
String value: Page Preview
定義: ソーシャルメディアやメッセージアプリで共有されたリンクのプレビューを生成します。
例: Facebook、Slack、Twitter、Discord のリンクプレビューツール
検索エンジンクローラー
String value: Search Engine Crawler
定義: 検索結果のために Web ページを発見し、インデックスするボットです。
例: Googlebot、Bingbot、Yandexbot、Baidubot
検索エンジン最適化
String value: Search Engine Optimization
定義: Web サイトを分析し、検索結果ページでの順位改善を支援します。
例: Google Lighthouse、GT Metrix、Pingdom、AddThis
セキュリティ
String value: Security
定義: Web サイトをスキャンし、セキュリティ脆弱性と潜在的な脅威を検知します。
例: 脆弱性スキャナー、SSL Domain Control Validation（DCV）確認ツール
ソーシャルメディアマーケティング
String value: Social Media Marketing
定義: ソーシャルプラットフォーム上の活動を管理し、自動化します。
例: Brandwatch
Webhook
String value: Webhooks
定義: 特定のイベントで、あるアプリケーションから別のアプリケーションへデータを送る自動メッセンジャーです。
例: 決済処理、WordPress 連携ツール
その他
String value: Other
定義: ほかの分類に当てはまらないボット向けの専用カテゴリです。
ボットの公開ドキュメントと観測された振る舞いが、ボット申請フォームに記載したカテゴリと異なる場合、Cloudflare は Verified bot のカテゴリを再割り当てする権利を留保します。
従来、Verified bots はすべてのプランの既定ボット設定から除外されてきました。現在は、すべてのお客様が AI ボットポリシー を設定し、ブロックと許可の期待を定義できます。