危険なトピックとカスタムトピックの検出

AI Security for Apps は、LLM プロンプトが危険または望ましくない主題に触れていることを検出できます。トピック検出には 2 つの層があります。

• デフォルトの危険なトピック: 暴力犯罪、ヘイトスピーチ、性的コンテンツなどの有害な内容を検出する、組み込みの安全カテゴリです。
• カスタムトピック: 「competitors」や「financial-advice」など、組織固有のポリシーに合わせて定義するトピックです。

AI Security for Apps を有効にすると、プロンプトをデフォルトの危険なトピックカテゴリと照合し、次の 2 つのフィールドに値を入れます。

• LLM Unsafe topic detected（cf.llm.prompt.unsafe_topic_detected）: 危険なトピックが見つかった場合は true です。
• LLM Unsafe topic categories（cf.llm.prompt.unsafe_topic_categories）: 検出した具体的なカテゴリの配列です。

カスタムトピック検出では、独自のトピックを定義し、AI Security for Apps が各プロンプトをそれらと照合してスコアを付けます。そのスコアを カスタムルール または レート制限ルール で使い、自分で決めた関連度スコアに基づいてリクエストをブロック、チャレンジ、またはログできます。

この機能は、実行時にプロンプトを評価する zero-shot 分類モデル を使います。モデルの学習は不要です。

1. 最大 20 件のカスタムトピックの一覧を定義します。各トピックは次で構成されます。
   • Label: ルール式と分析で使う、短いハイフン区切りの識別子です（例: financial-advice）。
   • Topic description: モデルがプロンプトを分類するために使う説明文です（例: seeking financial advice）。
2. cf-llm ラベル付きエンドポイントにリクエストが届くと、モデルはプロンプトを定義済みのすべてのトピック説明と照合し、それぞれに関連度スコアを返します。
3. スコアは cf.llm.prompt.custom_topic_categories マップフィールドに、ラベルをキーとして書き込まれます。ルール式と分析では、トピック説明ではなくラベルを使います。

ダッシュボードでは、次の 2 か所からカスタムトピックを管理できます。

1. Security Settings ページ: Security > Settings を開き、AI Security for Apps セクションを検索します。Custom Topics で Manage topics を選び、トピックの追加、編集、削除を行います。
2. 式ビルダーのサイドバー: カスタムルール の作成または編集時に LLM Custom topic フィールドを選びます。次に Manage custom topics を選ぶと、ルール作成ページを離れずにトピックを管理できるサイドバーが開きます。

どちらの方法でも、同じトピック一覧が更新されます。一方での変更は、もう一方にすぐ反映されます。

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --request PUT \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --json '{
    "topics": [
      {
        "label": "competitors",
        "topic": "seeking info on competitors"
      },
      {
        "label": "financial-advice",
        "topic": "seeking financial advice"
      },
      {
        "label": "hr-internal",
        "topic": "asking about internal HR policies"
      }
    ]
  }'

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN"

カスタムトピック検出の精度は、トピック説明の書き方に依存します。基盤のモデルは、プロンプトの意味とトピック説明を比較する zero-shot 分類器 です。

いちばん大切なのは、主題だけでなく、ユーザーの意図を書くことです。

モデルはキーワード一致ではなく、意味による分類を行います。ユーザーが 何をしようとしているか を捉えたトピック説明は、主題名だけを書いた説明より明らかに正確です。短い動詞句（3〜6 語）が、精度とカバー範囲のバランスとして最適であることが多いです。

同じ 2 つのトピック説明が、どちらも金融に触れるが意図が大きく違う 2 つのプロンプトに対して、どう動くかを比較します。

• 具体的に書きます。 広すぎると誤検知が増え、狭すぎると見逃しが増えます。
• 意味の重なりを避けます。 2 つのトピックがほぼ同じ意味（例: seeking financial advice と asking for investment guidance）だと、同じプロンプトで似たスコアになり、20 件のトピック枠を無駄にします。
• テストして繰り返します。 テスト用プロンプトを送り、Security Analytics でスコアを確認します。トピック説明の具体度や、ルールのスコアしきい値（lt 20 は厳しく、lt 50 は緩い）で調整できます。
• 1 つのトピック説明に複数の値を並べないでください。 モデルはカンマ区切りリストの先頭項目だけを評価します。たとえば Toyota, Ford, Audi, BMW は Toyota に関するプロンプトにしか一致せず、残りは無視されます。カンマを外しても精度は上がりません。seeking info on competitors のような意図ベースの 1 フレーズを使うか、値ごとに別トピックを作ってください。