Jwuma标注者间一致性，什么数值才算足够好
· 1 分钟阅读 · quality, specification
本译文由机器生成，未经母语者校对。如有不清楚之处，以英文原版为准。如发现错误请告知我们，我们会更正。 English
什么是好的标注者间一致性评分？
没有普遍的标准。对简单任务的一致性高并不意味着什么，而对真正有争议的任务一致性低可能是发现而非缺陷。要求按切片和标注者报告一致性，而不是一个总数，因为总数通常隐藏了问题所在。
要点摘要
- 单一的总体一致性评分隐藏了切片级别的失败。
- 对琐碎任务的一致性高不提供任何信息。
- 在主观任务中，系统性分歧往往是信号。
- 应按切片和标注者报告一致性。
- 当类别分布不均时，校正机会的测量很重要。
为什么一个数值不够？
因为数据集并不均匀。总体一致性为0.85的情况下，可能包含一个一致性为0.4的切片，而这个切片恰好是您关心的，且总数值并未透露其存在。
这是数据集通过验收但在训练中失败的最常见原因。在接受之前要求细分，而不是之后。
什么时候分歧实际上是答案？
在真正主观的判断中。如果一半合格的标注者认为一个回应是可接受的，而另一半则不认为，强制一个标签会破坏批次中最有信息量的部分。
特别是在对齐和安全工作中，管理良好的供应商会记录分歧并将其提交裁决，同时保留记录，而不是通过多数决解决并报告清晰的一致性。
您应该要求供应商报告什么？
按切片的一致性，按标注者的一致性，以及在类别分布不均时的校正机会测量。在九成项目共享一个标签的任务中，原始百分比一致性几乎没有意义。
还要询问如何衡量审核员。一个只衡量标注者而不衡量审核员的供应商在数据集中的每个标签上都有一个未被检查的单点故障。
- 按数据切片的一致性
- 按标注者的一致性
- 在不均分布上的校正机会测量
- 审核员自身如何被衡量
- 如何记录和裁决真正的分歧
常见问题
其他问题
我应该要求什么样的标注者间一致性评分？
没有普遍的数值。重要的是按切片和标注者分解的一致性，以及任务是否是分歧作为合法信号而非错误的情况。
高一致性总是好吗？
不是。对简单任务的一致性高不提供信息，也可能表明标注者在误解标准上达成了一致，而非真正的一致。
分歧是否总应解决？
在主观任务中不应如此。合格标注者之间的系统性分歧往往是批次中最有用的信息，将其简化为一个标签会丢失这些信息。