AI 输出没有唯一标准，因此通常采用多维度评估，而不是简单判断对错。
业内常见的评测维度包括：
| 指标 | 说明 |
|---|---|
| Accuracy（准确性） | 内容是否正确 |
| Relevance（相关性） | 是否回答了用户问题 |
| Completeness（完整性） | 是否遗漏重要信息 |
| Consistency（一致性） | 多次输出是否稳定 |
| Fluency（流畅性） | 语言是否自然 |
| Safety（安全性） | 是否包含违规内容 |
| Groundedness（事实依据） | 是否基于真实知识，避免幻觉 |
| Tool Success（工具成功率） | 工具调用是否正确 |
| Task Success（任务完成率） | 最终是否完成用户目标 |
实际工作中，常见的评测方法有四类：
① 人工评测（Human Evaluation）
由测试人员按照评分标准打分，例如：
- 准确性：5 分
- 相关性：4 分
- 表达：5 分
- 总分：14/15
适用于关键业务场景。
② LLM as a Judge
让另一个大模型担任评委，根据预设规则对回答进行评分，例如：
- 是否回答问题？
- 是否存在事实错误？
- 是否符合格式要求？
效率高，适合批量评测，但仍需抽样人工校验。
③ 基准数据集评测（Benchmark）
提前准备标准测试集（Question → Expected Behavior），批量运行模型，对比整体表现，常用于版本迭代和回归测试。
④ 在线业务指标
上线后持续观察真实用户反馈，例如：
- 用户满意度（👍/👎）
- 首次回答解决率
- 多轮对话次数
- 人工转接率
- 用户留存与复用率
这些指标能够反映 AI 在真实业务中的价值。