認証ヘッダー

同じ Cloudflare アカウントにオンボードしたドメインだけをクロールできます。ドメインの追加については、ドメインをオンボードするを参照してください。

認証の背後にあるページや、ログイン済みユーザーにだけ見えるページがある場合は、カスタム HTTP ヘッダーを設定し、AI Search クローラーが保護されたコンテンツへアクセスできるようにできます。サイトをクロールするとき、AI Search が送るリクエストには、最大 5 つのカスタム HTTP ヘッダーを追加できます。

ダッシュボードでは、この設定は Parser options の Extra headers です。REST API と Wrangler では、source_params.web_crawler.parse_options.include_headers フィールドです。

ダッシュボードで設定する

Cloudflare ダッシュボードで、AI Search ページを開きます。
AI Search を開く ↗
Create を選択し、データソースとして Website を選びます。既存インスタンスにヘッダーを追加する場合は、インスタンスを選択し、Settings タブを開きます。
Parser options の Extra headers を探します。
ヘッダーを追加し、Key にヘッダー名、Value にヘッダー値を入力します。例: Key は Authorization、Value は Bearer <TOKEN> です。
必要なヘッダーごとに繰り返し、最大 5 つまで追加します。
変更を保存します。

クローラーは、設定したヘッダーを、サイトへの各リクエストに付けて送ります。既存インスタンスでヘッダーを追加または変更すると、すべてのアイテムを再インデックスする新しいインデックスジョブが始まります。

Cloudflare Access で保護したサイトをインデックスする

Cloudflare Access で保護したサイトを AI Search がクロールできるようにするには、サービストークンの認証情報を作成し、カスタムヘッダーとして設定します。

サービストークンはユーザー認証をバイパスします。インデックスしたいコンテンツに対して、Access ポリシーが適切に設定されていることを確認してください。サービストークンにより、AI Search クローラーは Service Auth ポリシーの対象コンテンツすべてにアクセスできます。

Cloudflare ダッシュボード ↗ で、サービストークンを作成します。Client ID と Client Secret が生成されたら、次の手順のために保存します。例は次のとおりです。
```
CF-Access-Client-Id: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.access
CF-Access-Client-Secret: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
```
次の設定でポリシーを作成します。
- Selector を Service token にした Include ルールを追加します。
- Value で、手順 1 で作成した Service Token を選択します。
次の設定でセルフホストアプリケーションを Access に追加します。
- Access ポリシーで Select existing policies をクリックします。
- 作成したポリシーを選択し、Confirm を選びます。
Cloudflare ダッシュボードで、AI Search ページを開きます。
AI Search を開く ↗
Create を選択します。
データソースとして Website を選択します。
Parser options の Extra headers を探し、保存した認証情報で次の 2 つのヘッダーを追加します。
- ヘッダー 1:
  - Key: CF-Access-Client-Id
  - Value: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.access
- ヘッダー 2:
  - Key: CF-Access-Client-Secret
  - Value: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
AI Search のセットアップを完了し、検索インスタンスを作成します。