如何编写一个在现实中有效的注释标准

为什么标准会失败？

几乎从来不是因为定义错误。它们失败是因为定义没问题但缺少边缘案例，因此二十个注释者会对同一个未解决的问题独立地发明出二十个不同的答案。

最常见的症状是总体上看起来可接受的协议分数，而数据的特定部分却悄然无效。聚合协议很好地掩盖了这一点。

标准中应包含多少边缘案例？

大部分。如果您的标准主要是定义，最后只有一个简短的示例部分，那它更像是一个词汇表而不是标准。

编写标准的有效方法是运行一个小型试点批次，使用一个定义不足的标准，收集每个注释者标记为模糊的案例，并将每个案例转化为明确的规则。试点的目的是找出问题，而不是产生数据。

为什么要冻结标准？

因为如果标准在批次中途移动，根据旧定义正确完成的工作会被追溯性地视为错误，并且您无法从数据集中判断哪些项目是根据哪个版本进行评判的。

冻结意味着批次开始时生效的版本管理该批次。改进适用于下一个批次。然后每个标签都带有生成它的版本，这使得数据集在一年后有人问为什么两个相似的项目被标记为不同时可以进行审计。

应如何处理标记的歧义？

作为对您标准的缺陷报告，这正是它的本质。标记而不是猜测的注释者做得完全正确，不应因此受到惩罚。

惩罚标记的平台会收到更少的标记和更差的数据，因为歧义并没有消失，它只是被悄悄地、不一致地解决了，没有人能看到。

是什么让一个注释标准好？

明确处理边缘案例。注释者很少在明确的例子上产生分歧，因此一个主要是定义而很少有边缘案例的标准将产生不一致的标签。

标准应该在项目中途更改吗？

不。在批次开始时冻结它，以防止标准漂移，并将改进应用于下一个批次。否则，正确完成的工作会被追溯性地视为错误。

当注释者标记一个模糊的案例时应该怎么办？

应将其视为标准的缺陷并明确解决。惩罚标记只会将歧义推到地下，在那里它会被不一致地解决。