Skip to content

非公式 / UnofficialCloudflare, Inc. 非提携。アカウント情報は入力しないでください。Not affiliated with Cloudflare, Inc. Do not enter Cloudflare credentials here.Official docsこのサイトについてプライバシー

ディレクティブ

最終更新 Markdown で表示Agent セットアップ

AI Crawl Control の Directives タブでは、ホスト名全体で AI クローラーが robots.txt ファイルとどうやり取りしているかを把握できます。リクエストパターンの監視、ファイルの可用性の確認、ディレクティブに違反するクローラーの特定、AI エージェント向けのサイト準備状況の評価ができます。

ディレクティブの分析を開く手順は次のとおりです。

  1. Cloudflare ダッシュボード ↗ にログインし、アカウントとドメインを選択します。

  2. AI Crawl Control を開きます。

    公式ダッシュボードで AI Crawl Control を開く ↗
  3. Directives タブを開きます。

マネージド robots.txt の状態を確認する

タブ上部のステータスカードは、Cloudflare が robots.txt ファイルを管理しているかどうかを示します。

有効な場合、Cloudflare は学習用の一般的な AI クローラーをブロックするディレクティブを含め、Content Signals Policy も robots.txt に含めます。Cloudflare が robots.txt をどう管理するかは、マネージド robots.txt を参照してください。

robots.txt のリクエストデータを絞り込む

タブ上部のフィルターで、robots.txt リクエストの分析範囲を狭められます。

  • 特定のクローラー名で絞り込みます(例: Googlebot や特定の AI ボット)。
  • クローラーを運用している主体で絞り込み、直接のライセンス機会や既存契約を把握します。
  • 一般的な用途で絞り込みます(例: AI 学習、一般検索、AI アシスタント)。
  • 履歴分析用にカスタムの期間を選びます。

すべての表と指標の値は、フィルターに応じて更新されます。

robots.txt の可用性を監視する

Robots.txt availability テーブルは、選択した期間における各ホスト名の robots.txt ファイルへのリクエスト頻度と健全性を示します。

列 説明
Path リクエスト対象のホスト名の robots.txt ファイルです。パスはリクエスト数の多い順です。
Requests このパスへのリクエスト総数です。内訳は次のとおりです。
- Successful: HTTP ステータスコード 400 未満(200 OK とリダイレクトを含みます)。
- Unsuccessful: HTTP ステータスコード 400 以上。
Status robots.txt ファイルを ping したときの HTTP ステータスコードです。
Content Signals robots.txt ファイルに Content Signals ↗ があるかどうかを示します。Content Signals は、AI 学習、検索、AI 入力での利用に関するディレクティブです。

このテーブルから、次の対応ができます。

  • 失敗リクエストが多い場合は、クローラーが robots.txt にアクセスできていない可能性があります。
    • Status が 404 Not Found なら、明確なディレクティブを伝える robots.txt ファイルを作成します。
    • ファイルがある場合は、アクセスをブロックしている可能性のあるアップストリームの WAF ルールやほかのセキュリティ設定を確認します。
  • Content Signals 列でシグナル欠落が示されている場合は、robots.txt に追加します。Content Signals ↗ の手順に従うか、マネージド robots.txt を有効にして Cloudflare に管理を任せます。

robots.txt の違反を追跡する

Robots.txt violations テーブルは、robots.txt で明示的に禁止したパスへリクエストした AI クローラーを特定します。非準拠のクローラーを見つけ、適切な対応を取るのに役立ちます。

列 説明
Crawler robots.txt ディレクティブに違反したボットの名前です。クローラー名の直下に運用者も表示されます。
Path クローラーがアクセスしようとした、robots.txt で禁止されている URL またはパスです。
Directive そのパスへのアクセスを禁止した robots.txt の該当行です。
Violations 選択した期間内に、禁止されたパス / ディレクティブの組み合わせへ送られた HTTP リクエスト数です。

robots.txt ディレクティブに違反するクローラーを見つけたら、次の対応ができます。

  • Crawlers タブ を開き、非準拠のクローラーを恒久的にブロックします。
  • Cloudflare WAF で、違反クローラー向けのパス固有のセキュリティルールを作成します。
  • Redirect Rules で、違反クローラーをサイトの適切な場所へ誘導します。

Agent Readiness を確認する

Agent Readiness カードで、サイトが AI エージェント向けにどれだけ整っているかを確認できます。Check readiness score を選択すると、AI エージェント連携の新しい標準に照らしてサイトをスキャンします。対象は次のとおりです。

  • Robots.txt configuration: 適切なディレクティブを持つ有効な robots.txt があるか
  • Markdown for Agents: AI 向けに最適化したコンテンツ配信のためのコンテンツネゴシエーションに対応しているか
  • Content Signals Policy: AI クローラーへコンテンツ利用の意向を示しているか

スキャンは isitagentready.com ↗ で実行されます。結果には、AI エージェントやクローラーとの互換性を高めるための推奨事項が含まれます。

関連リソース

役に立ちましたか?