会员笔记 · 04 说清任务,并判断 AI 做得怎样
从真实失败建立评估样本
上一节,我们学会了从实际结果中找到差距,提出反馈,再检查修改是否有效。但还有一个问题:这次改对了,重新运行一次,或者换一份材料,还能达到同样的效果吗?
如果每次只看最新的结果,就容易忽略过去出现过的问题,也难以判断新方法是否真的有所改善。因此,我们需要保留真实任务和对应的检查标准,让不同轮次的结果能够放在一起比较。
这些记录就可以成为反复验证改进效果的评估样本。这一节,我们学习怎样建立评估样本、选择需要覆盖的情况,以及如何根据实际结果判断改进是否有效。