RLHF偏好数据，如何指定以确保其价值

为什么坚持书面理由？

因为单独的偏好几乎不包含信息。十个标注员偏好响应B仅告诉模型B在某种未指明的方式上更好。十个标注员偏好B因为它拒绝对药物剂量进行推测则是一个可以推广的经验。

这也使质量可检查。排名无法审核；理由可以被阅读，而仅仅用其他词重述排名的理由显然是空洞的。

校准涉及什么？

在标注员接触生产数据之前，通过一组具有已知正确判断的项目进行训练，并纠正出现的误读。

跳过这一步是错误的节省，通常在两周后表现为不可用的协议分数。误读总是存在；校准决定了你是在支付批次费用之前还是之后发现它们。

应如何处理分歧？

记录下来。特别是在对齐工作中，校准标注员之间的真实分歧是关于提示的发现，而不是需要平滑处理的错误。

询问你的供应商他们如何处理分歧。通过多数解决并报告清晰协议是常见做法，但这会破坏数据集中最有价值的行。

QA实际应拒绝什么？

重述排名的理由、引用评分标准中不存在的标准的理由，以及与附加理由不一致的排名。最后一种情况比听起来更常见，对仅查看排名的检查是不可见的。

明确指定这些拒绝标准是值得的，而不是假设供应商会应用它们。

什么是RLHF偏好数据？

人类对两个或多个模型输出中哪个更好的判断，用于训练模型以实现偏好行为。有用的偏好数据包括每个判断的书面理由。

为什么书面理由在RLHF中很重要？

因为单纯的排名几乎不包含信号。偏好某个响应的原因才是可以推广的部分，也是判断中唯一可以审核的部分。

标注员在生产RLHF工作前需要校准吗？

需要。根据冻结的评分标准进行校准可以在支付批次费用之前发现误读，这是协议分数是否可用的主要决定因素。