類似キャッシュ

AI Search の類似キャッシュは、過去のリクエストと似たクエリに対して Cloudflare のキャッシュから応答を返します。毎回新しい応答を作る必要はありません。意味の近い質問の回答を再利用することで、応答が速くなり、コストも下がります。

基本的なキャッシュと違い、類似キャッシュを使うとリクエスト受信時に次の処理が行われます。

1. AI Search は、選んだしきい値に基づき、似たプロンプトが以前に回答済みかを確認します。
2. 一致すれば、キャッシュ済みの応答をすぐに返します。
3. 一致しなければ、新しい応答を生成してキャッシュします。

応答がキャッシュ由来かどうかは、cf-aig-cache-status ヘッダーで確認します。キャッシュなら HIT、新規なら MISS です。

類似キャッシュを使うときは、次の挙動を踏まえてください。

• 揮発性キャッシュ: 似たリクエストが同時に来ると、最初の結果がキャッシュされる前に 2 件目が処理され、MISS になることがあります。
• 期間を設定できる: キャッシュ済み応答は、インスタンスの cache_ttl 設定に従って期限切れになります。デフォルトは 48 時間です。
• データ依存: キャッシュ済み応答は特定のドキュメントチャンクに紐づきます。チャンクが変更または削除されると、回答を新しく保つためにキャッシュがクリアされます。

AI Search の類似キャッシュは MinHash と Locality-Sensitive Hashing (LSH) を使い、言い回しが似たプロンプトの応答を見つけて再利用します。

新しいプロンプトが来たときの流れは次のとおりです。

1. プロンプトを、重なり合う短い単語のかたまり（シングルト）に分割します。たとえば "what's the" や "the weather" です。
2. これらのシングルトを MinHash で「指紋」にします。2 つのプロンプトの重なりが多いほど、指紋は近くなります。
3. 指紋を LSH バケットに入れます。AI Search は全件比較せずに、似たプロンプトを素早く見つけられます。
4. 同じバケット内の過去のプロンプトが、設定したしきい値以上に似ていれば、そのキャッシュ済み応答を再利用します。

類似しきい値は、キャッシュ済み応答を再利用するために、2 つのプロンプトがどれだけ近ければよいかを決めます。インスタンス単位で設定するか、リクエストごとに上書きできます。

インスタンスの作成時または更新時に cache_ttl を設定し、キャッシュ済み応答の保持期間を制御します。使える値は次のとおりです。

インスタンスのキャッシュ済み応答をすぐすべて消すには、キャッシュ削除操作を使います。

curl -X POST "https://api.cloudflare.com/client/v4/accounts/$ACCOUNT_ID/ai-search/namespaces/default/instances/$INSTANCE_NAME/purge_cache" \
  -H "Authorization: Bearer $CLOUDFLARE_API_TOKEN"

キャッシュを削除すると、インスタンス内部のキャッシュキーがローテーションします。新しいクエリは、以前のキャッシュ済み応答を再利用しません。

Cloudflare ダッシュボードのインスタンス設定ページからも、キャッシュ済み応答を削除できます。

ai_search_options の cache パラメータで、インスタンス単位のキャッシュ設定をリクエストごとに上書きできます。

const instance = env.AI_SEARCH.get("my-instance");

const results = await instance.search({
	messages: [{ role: "user", content: "What is Cloudflare?" }],
	ai_search_options: {
		cache: {
			enabled: true,
			cache_threshold: "flexible_friend",
		},
	},
});