Bộ tiêu chí chấm điểm (Evaluators & LLM Judges)
Trạng thái
Owner: TBD · Trạng thái: draft · Nguồn chuẩn: flezi.app.frontend.main/src/pages/Evaluators.tsx
Dành cho ai
Kỹ sư AI (AI_BUILDER) thiết kế phương pháp chấm điểm tự động.
Bạn làm được gì
- Tạo các bộ đánh giá tự động sử dụng kỹ thuật LLM-as-a-judge (dùng một mô hình AI mạnh hơn để chấm điểm câu trả lời của Agent).
- Định nghĩa thang điểm (1 đến 5 sao hoặc Pass / Fail) kèm theo tiêu chuẩn rubric rõ ràng.
- Tùy biến prompt giám khảo để đo lường các khía cạnh đặc thù của doanh nghiệp (ví dụ: tuân thủ giọng điệu thương hiệu, không vi phạm chính sách bảo mật).
Các bước tạo Evaluator
- Trong phân hệ Governance, chọn Evaluators.
- Nhấn Create Evaluator.
- Chọn loại tiêu chí (Semantic Similarity, Hallucination Check, Tool Call Validity, Tone & Style).
- Thiết lập mô hình giám khảo (ví dụ: GPT-4o) và Prompt hướng dẫn chấm điểm.
- Nhấn Save Evaluator để đưa vào sử dụng cho các đợt kiểm thử.