这部分其实是 AI 产品和传统软件产品最大的分水岭。
传统测试关注：
Pass / Fail
而 AI 产品关注的是：
有多好（How Good）
对于飞流AI来说，如果没有一套完善的 Evals 体系，那么团队每天都会陷入：
感觉这个版本变好了。
或者：
设计师说变好了，但用户说变差了。
AI产品最大的敌人就是：
用感觉管理模型。
所以对于飞流AI，我建议建立一套 四层 Evals 体系。
飞流AI Evals 总体架构
L1 理解能力（Understand）
L2 推理能力（Reason）
L3 结果质量（Generate）
L4 商业价值（Business）
第一层：理解能力 Evals
这是整个系统最基础的能力。
目标：
用户说一句话，AI能否正确理解。
例如：
我家89平三房两厅，
预算20万，
喜欢奶油风，
两个孩子，
收纳一定要多。
标准答案：
{
"area":"89",
"layout":"3房2厅",
"budget":"20万",
"style":"奶油风",
"family":"二孩家庭",
"priority":"收纳"
}
模型输出：
{
"area":"89",
"layout":"3房2厅",
"budget":"20万",
"style":"奶油风",
"family":"二孩家庭"
}
结果：
字段召回率：
5/6 = 83%
指标1：Intent Recall
公式：
识别正确字段数 / 总字段数
目标值：
>=95%
指标2：Intent Precision
例如：
用户：
我喜欢奶油风。
AI输出：
风格：奶油风
预算：20万
预算属于幻觉。
公式：
正确识别字段
÷
模型输出字段
目标：
>=98%
指标3：槽位完整率
对于家装行业尤其重要。
关键槽位：
- 面积
- 户型
- 风格
- 预算
- 家庭成员
- 收纳需求
- 宠物需求
- 老人需求
例如：
关键槽位覆盖率：
92%
第二层：推理能力 Evals
这是家装 AI 的核心壁垒。
因为装修本质上是：
约束条件优化问题。
例如：
输入：
80㎡
三口之家
预算15万
奶油风
收纳优先
AI需要同时满足：
面积限制
预算限制
家庭需求
风格要求
收纳要求
指标4：约束满足率
公式：
满足约束数量
/
总约束数量
例如：
| 条件 | 是否满足 |
|---|---|
| 奶油风 | √ |
| 预算15万 | √ |
| 收纳优先 | × |
| 三口之家 | √ |
结果：
3/4=75%
目标：
>=90%
指标5：冲突识别率
用户：
100㎡
预算8万
法式轻奢
全屋进口家具
AI是否识别：
预算冲突
目标：
95%以上
指标6：风险识别率
例如：
| 用户需求 | 是否拦截 |
|---|---|
| 拆承重墙 | √ |
| 封燃气表 | √ |
| 无地漏卫生间 | √ |
目标：
99%以上
第三层：生成结果 Evals
这是用户最能感知的一层。
指标7：风格一致性
用户：
现代极简
AI输出：
法式石膏线
欧式吊灯
直接失败。
建议采用：
GPT4o Judge
+
设计师人工评审
评分：
1~5分
目标：
>=4.5
指标8：预算符合率
公式：
预算误差
=
|估算预算-用户预算|
/
用户预算
目标：
<15%
指标9：施工落地率
这个指标极具价值。
设计师评审：
可以直接施工
需要小改
无法施工
权重：
直接施工 100
小改 70
无法施工 0
目标：
平均85+
指标10：空间利用率
例如：
柜体体积
/
可利用空间
或者：
收纳空间增加率
对于中国市场：
这是极重要指标。
第四层：用户价值 Evals
这是CEO真正关心的指标。
指标11：收藏率
公式：
收藏方案用户数
/
生成方案用户数
这是用户满意度的重要代理指标。
指标12：二次编辑率
说明：
用户是否愿意继续投入时间。
目标：
40%以上
指标13：分享率
装修天然是高分享场景。
目标：
20%以上
指标14：导出率
导出效果图：
导出用户
/
生成用户
指标15：成交转化率
最终目标：
AI方案
↓
设计服务
↓
装修订单
这是飞流AI未来商业化的核心指标。
建议建立 AI Score Card
例如：
| 指标 | 当前 | 目标 |
|---|---|---|
| 理解准确率 | 93% | 96% |
| 风格一致性 | 4.3 | 4.6 |
| 约束满足率 | 84% | 92% |
| 风险识别率 | 97% | 99% |
| 收藏率 | 18% | 30% |
| 分享率 | 7% | 20% |
进一步升级：建立飞流AI专属 Benchmark
很多团队直接使用：
- MMLU
- GSM8K
- HumanEval
但这些几乎无法衡量家装AI。
飞流AI应该建立自己的：
FlowBench（示例名称）
例如：
1 户型理解集
1000套户型
2 风格理解集
现代
原木
奶油
中古
侘寂
法式
轻奢
3 风险案例集
承重墙
烟道
燃气
防水
强弱电
4 多轮对话集
5000轮真实装修对话
5 图片评测集
10000张设计图
最终形成：
FlowBench Score
理解能力：94
推理能力：88
设计能力：91
安全能力：99
商业能力：82
综合得分：
90.8
如果未来飞流AI能够持续积累真实用户数据和评测数据，这套 Benchmark 本身就会成为公司的核心资产。
很多人认为 AI 产品的护城河是模型。
实际上对于垂直行业来说，真正的护城河往往是：
高质量行业数据 + 专属 Evals + 持续迭代能力。
而 Evals，恰恰就是这套体系的操作系统。