ヒューマンフィードバックは、AI モデルの性能を評価する有用な指標です。人の評価を取り入れると、モデルの応答がどう受け止められているか、利用者の視点でどれだけうまく動いているかをより深く把握できます。このフィードバックは評価(Evaluations)で性能指標の計算に使え、最適化を進め、AI アプリケーションの信頼性、正確性、効率を高められます。
ヒューマンフィードバックは、人の直接入力にもとづいてデータセットの性能を測ります。指標は、Cloudflare ダッシュボードの Logs タブで注釈したログのうち、高評価(thumbs up)の割合です。実際の出力に対する現場の評価を反映し、モデル性能の改善に役立ちます。
このチュートリアルでは、Cloudflare ダッシュボードを使い、AI Gateway の評価にヒューマンフィードバックを追加する手順を説明します。
次のガイドでは、API でヒューマンフィードバックを追加する方法 を確認できます。
Cloudflare ダッシュボードで AI Gateway ページを開きます。
AI Gateway を開く ↗- Logs を開きます。
- Logs タブには、データセットに関連するすべてのログが表示されます。主な情報は次のとおりです。
- Timestamp: やり取りが起きた時刻。
- Status: リクエストが成功したか、キャッシュされたか、失敗したか。
- Model: リクエストで使われたモデル。
- Tokens: 応答で消費されたトークン数。
- Cost: トークン使用量にもとづくコスト。
- Duration: 応答完了までにかかった時間。
- Feedback: 各ログにヒューマンフィードバックを付けられる欄。
- 確認したいログエントリを選択します。ログが展開され、詳細を確認できます。
- 展開したログでは、次のような追加情報を確認できます。
- ユーザープロンプト。
- モデルの応答。
- HTTP レスポンスの詳細。
- エンドポイント情報。
- 次の 2 つのアイコンが表示されます。
- Thumbs up: 高評価です。
- Thumbs down: 低評価です。
- そのログのモデル応答をどう評価するかに応じて、thumbs up または thumbs down のアイコンを選択します。
ログにフィードバックを付けると、評価プロセスの一部になります。
評価のセットアップ ガイドのとおりに評価を実行すると、高評価(thumbs up)を受けたログの割合にもとづいて、ヒューマンフィードバック指標が計算されます。
評価の実行後、Evaluations タブで結果を確認します。 コスト、速度、そしてヒューマンフィードバック(高評価の割合)にもとづくモデル性能を確認できます。
ヒューマンフィードバックのスコアはパーセントで表示され、データベース上で高評価になった応答の分布を示します。
評価の実行について詳しくは、評価のセットアップ を参照してください。