メインコンテンツまでスキップ

評価実行（Evaluation Runs）

ステータス

Owner: TBD · ステータス: draft · 正規ソース: flezi.app.frontend.main/src/pages/EvaluationRuns.tsx

対象者​

新しい Agent バージョンを本番環境へリリースする準備をしている AI エンジニア。

できること​

  • 自動評価を実行する：システムが Test Dataset 内のすべての質問に対して Agent を自動実行し、各 Evaluator を呼び出して採点します。
  • 集計スコアのサマリーと、質問ごとの詳細を確認する。
  • 新しい Agent バージョンと以前の Agent バージョンの性能を比較する（A/B testing / Regression test）。

評価実行の手順​

  1. Evaluation Runs を選択し、New Evaluation Run をクリックします。
  2. 評価する Agent と対応するバージョンを選択します。
  3. 評価用データセット（Dataset）と、適用する Evaluator の一覧を選択します。
  4. Start Evaluation をクリックします。
  5. バックグラウンド処理の進捗を確認し、完了後に詳細な結果レポートを受け取ります。

関連ページ​