AI 产品为什么不能按照传统 APP 测试方式进行测试?

Viewed 1

这是目前 AI 产品测试最大的变化。

传统 APP:

输入固定。

输出固定。

例如:

2+2

一定等于4

所以:

测试方式:

输入

↓

固定输出

↓

断言(Assert)

但是 AI:

不是确定性输出。

例如:

写一篇介绍北欧风装修的文案。

第一次:

北欧风强调......

第二次:

北欧风以自然......

第三次:

北欧风源于......

都可能正确。

所以:

不能:

assert ==

因为:

没有标准答案。


AI 产品最大的特点:

同一个输入,可以有多个正确答案。

因此:

传统测试:

关注:

功能是否正确。

AI 测试:

更关注:

  • 是否回答用户问题
  • 是否幻觉(Hallucination)
  • 是否符合业务规则
  • 是否稳定
  • 是否安全
  • 是否一致

所以:

AI 测试更偏:

质量评估(Evaluation)

而不是:

功能测试(Testing)


因此:

AI 产品通常需要:

① Prompt 测试

Prompt 是否稳定。


② 模型测试

不同模型效果。


③ RAG 测试

知识召回是否正确。


④ Tool Calling 测试

工具是否调用成功。


⑤ Agent 测试

整个任务是否最终完成。


一句话总结:

传统 APP 测试的是"程序是否正确运行",AI 产品测试的是"AI 是否高质量地完成任务"。


0 Answers
Related