アプリケーションのパフォーマンスを把握することは、最適化に欠かせません。開発者の優先事項はそれぞれ異なり、最適な解はコスト、レイテンシ、精度といった要素のバランスで決まります。低レイテンシの応答を重視する人もいれば、精度やコスト効率に注力する人もいます。
AI Gateway の Evaluations は、AI アプリケーションを最適化するための判断材料を提供します。モデル、プロバイダー、プロンプトの調整など、パフォーマンス、速度、コストに関する主要な指標の洞察を得られます。アプリケーションの挙動をよりよく理解し、精度、信頼性、顧客満足度の向上につなげられます。
Evaluations は、分析用に保存したログの集まりであるデータセットを使います。Logs タブでフィルターを適用し、評価対象のログを絞り込んでデータセットを作成できます。
包括的な AI 評価に向けた最初のステップは、ヒューマンフィードバックです（現在オープンベータ）。今後も追加の評価器を構築し、AI Gateway を拡充していきます。
データセットの作成、評価器の選択、評価プロセスの実行を含む、評価の設定方法 を参照してください。