Skip to content

非公式 / UnofficialCloudflare, Inc. 非提携。アカウント情報は入力しないでください。Not affiliated with Cloudflare, Inc. Do not enter Cloudflare credentials here.Official docsこのサイトについてプライバシー

Crawler Hints

最終更新 Markdown で表示Agent セットアップ

Crawler Hints は、Cloudflare のキャッシュシグナルを使って、コンテンツが変わった可能性を検索エンジンに伝えます。推測ではなく、適切なタイミングでサイトをクロールしてもらえます。

背景

検索エンジンや類似のサービスは、大量のボットネットワークでインターネットを巡回し、ユーザーの検索に最も関連するコンテンツを特定します。一方で、Web 上のコンテンツは常に変わります。検索エンジンのクローラーはインターネットを歩き続け、サイトの更新頻度を推測しながら再訪問する必要があります。

Crawler Hints を使うと、Cloudflare はインデックスに適したタイミングや、コンテンツが変わったタイミングをクローラーへ能動的に伝えられます。さらに Crawler Hints は IndexNow ↗ に対応しています。サイト上のコンテンツが作成、更新、削除されたときに、検索エンジンへ通知できます。Crawler Hints はキャッシュステータス MISS でコンテンツが更新された可能性を判断し、IndexNow のクローラーへ送ります。アセットのレスポンスの HTTP ステータスコードが 4xx より大きい場合、Crawler Hints はその内容を IndexNow ↗ へ報告しません。

メリット

Crawler Hints は、検索エンジンやボットを使うサービスが最新版のコンテンツを配信しやすくし、検索順位の改善につながる場合があります。

不要なクロールトラフィックをオリジンへ送らずに済むため、リソース消費を抑え、サイトのパフォーマンスも上がります。

利用可否

Free Pro Business Enterprise
利用可否 はい はい はい はい

Crawler Hints を有効にする

  1. Cloudflare ダッシュボードで、Configuration ページを開きます。

    公式ダッシュボードで Configuration を開く ↗
  2. Crawler Hints を有効にします。

有効にすると、Cloudflare はサイトのどの部分をいつクロールすべきかを検索エンジンへ伝え始めます。

特定のページのインデックスを防ぐ

有効にした Crawler Hints は、サイト全体に適用されるグローバル設定です。特定のページをインデックスさせないには、次のいずれかを使います。

  • インデックスさせないページで、オリジンサーバーから X-Robots-Tag: noindex ヘッダーを返します。
  • インデックスさせないページの HTML に <meta name="robots" content="noindex, nofollow" /> を含めます。
  • オリジンサーバーではなく Cloudflare 側で X-Robots-Tag: noindex ヘッダーを付けるには、Response header Transform Rule を作成します。

役に立ちましたか?