模型评估：领域专家与使用清单的普通评估员

普通评估员可以可靠地判断什么？

答案是否清晰、适当保留、格式正确、对所问问题有响应，并且没有明显的安全问题。这些是真实且值得衡量的，一个校准良好的普通评估小组可以很好且经济地完成这些工作。

他们不能做的是判断答案在他们不了解的领域是否正确。这不是培训问题，而是领域的定义。

如果搞反了会出现什么问题？

你会得到高分，但衡量的是错误的东西。一个流利、自信、结构良好但完全不正确的临床答案在无法评估临床正确性的评估员那里得分很高，结果指标会误导你关于模型安全性的判断。

这比没有评估更糟糕，因为一个数字被报告并被采纳。

如何判断你需要哪种评估员？

问问错误答案会是什么样子。如果一个错误答案对聪明的外行人来说是可识别的，那么普通评估员就可以。如果一个错误答案看起来和正确答案一模一样，除非你了解该领域，那么你需要一个从业者。

大多数评估计划需要两者，在同一输出的不同轴上，而不是选择其中之一。

• 外行人能否识别错误答案？
• 失败模式看起来像流利的能力吗？
• 内容是否受监管或涉及安全关键？
• 输出是否使用评估员实际会说的语言？

输出应该是什么？

一个失败分类，而不仅仅是一个分数。知道模型得分72并没有提供可操作的信息。知道其失败集中在三个命名模式中，其中一个与安全相关，告诉你需要修复什么。

在规格制定时要求将分类作为可交付成果。从评分数据中事后改造一个分类通常行不通。

什么时候我需要领域专家进行模型评估？

当错误答案对非专业人士看起来像正确答案时。如果失败模式是流利的能力，只有领域内合格的人才能检测到。

普通评估员能否评估临床或法律输出？

他们可以评估语气、格式和明显的安全问题，但不能评估正确性。使用他们来评估正确性会产生衡量流利度的分数，并对模型安全性产生误导。

评估计划除了分数外还应该提供什么？

一个命名模型失败的不同方式的失败分类。仅有分数是不可操作的；命名的失败模式是可操作的。