アプリケーションの規模が大きくなると、とくに複数プロバイダーを使う場合、AI 推論コストは予測しにくくなります。Cloudflare AI Gateway は同一クエリをキャッシュして重複する推論呼び出しを避け、ユーザーまたは API キー単位でレート制限を適用し、すべてのプロバイダーを横断した統合分析を提供します。
レスポンスをキャッシュし、リクエストをレート制限し、プロバイダー横断で利用状況を監視します。AI Gateway の詳細 を参照してください。
- レスポンスキャッシュ - 同一クエリをキャッシュし、繰り返されるプロンプトで新しい推論呼び出しが走らないようにします
- レート制限 - ユーザーまたは API キー単位でリクエスト上限を設定し、不正利用と支出を抑えます
- 統合分析 - 1 つのダッシュボードで、すべての AI プロバイダーの利用状況、レイテンシ、コストを追跡します
Workers から時系列の分析データを保存し、クエリします。Workers Analytics Engine の詳細 を参照してください。
- カスタムメトリクス - トークン、レイテンシ分布、エラー率を追跡する AI 向けダッシュボードを構築します