Skip to content

非公式本サイトは非公式の日本語ドキュメントであり、Cloudflare 公式サイトではありません。最新情報はdevelopers.cloudflare.comをご確認ください。

Cloudflare のクローラー

最終更新 Markdown で表示Agent セットアップ

Cloudflare は、サイトが保護され、適切に動作していることを確認するために、サイトをクロールしたり HTTP リクエストを送ったりすることがあります。

クロールが発生する状況

特定のプロダクト

次のプロダクトを有効にしていると、Cloudflare はサイトをクロールします。

  • Always Online
    • User-Agent: Mozilla/5.0 (compatible; CloudFlare-AlwaysOnline/1.0; +http://www.cloudflare.com/always-online)
  • Health checks
    • User-Agent: Mozilla/5.0 (compatible; Cloudflare-Healthchecks/1.0; +https://www.cloudflare.com/; healthcheck-id: <HEALTHCHECK_ID>)
    • HEALTHCHECK_ID は、ヘルスチェック ID に対応する 16 文字の文字列です。
  • Load balancing monitors
    • User-Agent: Mozilla/5.0 (compatible; Cloudflare-Traffic-Manager/1.0; +https://www.cloudflare.com/traffic-manager/; pool-id: <POOL_ID>)
    • POOL_ID は、監視対象のロードバランシングプール ID に対応する 16 文字の文字列です。
  • Prefetch URLs
    • User-Agent: Mozilla/5.0 (compatible; CloudFlare-Prefetch/0.1; +http://www.cloudflare.com/)
  • SSL/TLS recommender
    • User-Agent: Cloudflare-SSLDetector
    • このクローラーは、User-Agent を明示的に対象にしたルールがない限り、robots.txt を無視します。
  • Security Insights
    • User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36 (compatible; +https://developers.cloudflare.com/security-center/)

その他の状況

次のような特定の状況でも、Cloudflare はサイトをクロールします。

  • スピードテスト
    • User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36 PTST/190628.140653
    • 実行タイミング: Cloudflare ダッシュボード からスピードテストを開始したとき。
  • サポート診断:
    • User-Agent: Cloudflare-diagnostics
    • 実行タイミング: Cloudflare のサポートエンジニアがエラーチェックを行うとき、および Cloudflare ダッシュボードで状況に応じたアラートを出すための継続監視のとき。
  • Custom Hostname の検証:
    • User-Agent: Cloudflare Custom Hostname Verification
    • 実行タイミング: Custom Hostname を HTTP ownership token で検証するとき。

開発者向けプロダクトのクローラー

Browser Run は、Cloudflare のお客様に代わって第三者の Web サイトをクロールできる、Cloudflare の開発者向けプロダクトです。クロールが発生する状況 のクローラーとは異なり、有効にした Cloudflare サービスの一環としてサイトをクロールするわけではありません。Cloudflare のプラットフォームでアプリケーションを構築する開発者が使います。

Browser Run の /crawl エンドポイント の User-Agent は CloudflareBrowserRenderingCrawler/1.0 です。設定できないヘッダー、ボット検出 ID、Browser Run のトラフィックを識別またはブロックするための暗号検証の方法については、自動リクエストヘッダー を参照してください。

AI Search は、Web サイトのコンテンツをインデックスして検索できるようにする、Cloudflare の開発者向けプロダクトです。AI Search のクローラーは、あなたが所有するサイト（同じ Cloudflare アカウントにドメインがあること）のうち、AI Search でデータソースとして選んだサイトだけをクロールします。

クローラーの User-Agent は Cloudflare-AI-Search です。WAF ルールでは、ボット検出 ID を使って許可またはブロックできます。

役に立ちましたか？