Cloudflare は、検索エンジンのクローラーとボットを許可します。クロールの問題や、検索エンジンのクローラーやボットに Cloudflare のチャレンジが表示される場合は、このガイドの手順で情報を集めたうえで、Cloudflare サポートに問い合わせてください。
Cloudflare 経由でプロキシされる検索エンジンクローラーのリクエストは、オリジンサーバーに入っているボット対策モジュールでブロックされることがあります。オリジンがこれらのリクエストをブロックしないよう、ボット対策モジュールを無効にしてみてください。
CDN のパフォーマンスを最適化するため、Google と Bing は CDN サービスを使うサイトに特別なクロールレートを割り当てます。特別なクロールレートは、検索エンジン最適化（SEO）や検索結果ページ（SERP）に悪影響を与えません。Bing と Google のクロールレートを変更するには、次のガイドに従ってください。
- Google のクロールレートは、Google のドキュメント ↗ を確認して変更します。
- Bing のクロールレートは、Bing のドキュメントを参照して変更します。
クロールエラーを防ぐには、次の推奨事項を確認してください。
-
サードパーティのツールで、サイトのパフォーマンスと可用性を監視します。
-
カスタムルール や IP Access rules で、Google クローラーの IP アドレスをブロックしないでください。レート制限ルール を使っている場合は、Google クローラーに適用されないようにしてください。
IP アドレスが Google のものであることは、googlebot の IP アドレスを確認する ↗ 方法を、Google のドキュメントで確認します。
-
カスタムルール や IP Access rules で、米国をブロックしないでください。
-
.htaccessファイル、サーバー設定、robots.txt↗、または Web アプリケーションで、Google の User-Agent をブロックしないでください。
Google は さまざまな User-Agent ↗ を使ってサイトをクロールします。Google で robots.txt をテスト ↗できます。
/cdn-cgi/ディレクトリ内のファイルをクロールさせないでください。このパスは Cloudflare が内部で使っており、Google がクロールするとエラーになります。robots.txtでcdn-cgiのクロールを禁止します。
Disallow: /cdn-cgi/
robots.txtで AdSense クローラーを許可 ↗してください。- サーバーログの 元の訪問者 IP アドレスを復元します。
よく報告されるクロールエラーの切り分け手順は、次のとおりです。
HTTP 4XX エラー は、もっとも多いクロールエラーです。Cloudflare は、Web サーバーからのこれらのエラーを Google へ渡します。原因は、Web サーバー上のページ欠落や、HTML 内の不正なリンクなどさまざまです。対処は、発生している問題によって異なります。
HTTP 5XX エラー は、Cloudflare またはオリジンの Web サーバーで内部エラーが起きたことを示します。クロールエラーの発生とサイト障害を対応付けるため、オリジン Web サーバーの健全性を監視します。Cloudflare 経由と、オリジン Web サーバーの IP への直接アクセスの両方でサイトの健全性を監視すると、エラーが Cloudflare 側かオリジン側かを切り分けられます。
切り分け手順は、ドメインが Full セットアップか CNAME セットアップかで異なります。どちらのセットアップかは、ターミナルを開き、次のコマンドを実行して確認します（www.example.com を自分の Cloudflare ドメインに置き換えます）。
dig +short SOA www.example.com
Partial（CNAME）セットアップ のドメインでは、応答に cdn.cloudflare.net が含まれます。例:
example.com.cdn.cloudflare.net.
Full セットアップ のドメインでは、表示されるネームサーバーに cloudflare.com ドメインが含まれます。例:
josh.ns.cloudflare.com. dns.cloudflare.com. 2013050901 10000 2400 604800 3600
Cloudflare でのドメインのセットアップ方法を確認したら、そのセットアップに合った切り分け手順へ進みます。
CNAME
ホスティングプロバイダーに連絡し、DNS エラーを調査してもらいます。Google が DNS エラーを検出した日付も伝えてください。あわせて、Google がエラーを検出した日付のネットワーク障害がないか、Cloudflare System Status ↗ ページを確認してください。
Full
Cloudflare サポートに問い合わせ、Google がエラーを観測した日時を伝えてください。
上記の切り分けでクロールエラーが解消しない場合は、次の手順で Google Webmaster Tools のダッシュボードからクローラーエラーを .csv ファイルとして書き出します。Cloudflare サポートへ問い合わせる際に、この .csv ファイルを添付してください。
- Google Webmaster Tools アカウントにログインし、対象ドメインの Health セクションを開きます。
- 左のナビゲーションで Crawl Errors を選びます。
- Download を選び、エラー一覧を
.csvファイルとして書き出します。 - ダウンロードした
.csvファイルを Cloudflare サポートへ提供します。