这是目前 AI 产品测试最大的变化。
传统 APP:
输入固定。
输出固定。
例如:
2+2
一定等于4
所以:
测试方式:
输入
↓
固定输出
↓
断言(Assert)
但是 AI:
不是确定性输出。
例如:
写一篇介绍北欧风装修的文案。
第一次:
北欧风强调......
第二次:
北欧风以自然......
第三次:
北欧风源于......
都可能正确。
所以:
不能:
assert ==
因为:
没有标准答案。
AI 产品最大的特点:
同一个输入,可以有多个正确答案。
因此:
传统测试:
关注:
功能是否正确。
AI 测试:
更关注:
- 是否回答用户问题
- 是否幻觉(Hallucination)
- 是否符合业务规则
- 是否稳定
- 是否安全
- 是否一致
所以:
AI 测试更偏:
质量评估(Evaluation)
而不是:
功能测试(Testing)
因此:
AI 产品通常需要:
① Prompt 测试
Prompt 是否稳定。
② 模型测试
不同模型效果。
③ RAG 测试
知识召回是否正确。
④ Tool Calling 测试
工具是否调用成功。
⑤ Agent 测试
整个任务是否最终完成。
一句话总结:
传统 APP 测试的是"程序是否正确运行",AI 产品测试的是"AI 是否高质量地完成任务"。