RLHF 선호 데이터, 가치 있게 지정하는 방법

왜 서면 근거를 고집해야 하나요?

단독 선호는 거의 정보가 없기 때문입니다. 열 명의 주석자가 응답 B를 선호한다고 해서 B가 어떤 미지의 방식으로 더 나았다는 것을 모델에 알려줍니다. 열 명의 주석자가 B를 선호한 이유가 약물 복용량에 대해 추측하지 않았기 때문이라면, 이는 일반화되는 교훈입니다.

또한 품질을 확인할 수 있게 합니다. 순위는 감사할 수 없지만, 근거는 읽을 수 있으며, 순위를 다른 말로 반복하는 근거는 명백히 비어 있습니다.

보정은 무엇을 포함하나요?

주석자들이 생산 데이터에 손을 대기 전에, 기준표에 따라 올바른 판단이 알려진 항목 세트를 통해 주석자들을 훈련시키고, 드러나는 오독을 수정하는 것입니다.

이를 생략하는 것은 잘못된 경제적 선택으로, 2주 후에 사용 불가능한 합의 점수로 나타납니다. 오독은 항상 존재하며, 보정은 이를 배치에 대한 비용을 지불하기 전이나 후에 발견할지를 결정합니다.

의견 불일치는 어떻게 처리해야 하나요?

기록합니다. 특히 정렬 작업에서는, 보정된 주석자들 간의 진정한 분열은 프롬프트에 대한 발견이지, 부드럽게 처리해야 할 오류가 아닙니다.

공급업체에게 분열을 어떻게 처리하는지 물어보세요. 다수결로 해결하고 깨끗한 합의를 보고하는 것은 일반적이며, 데이터 세트에서 가장 가치 있는 행을 파괴합니다.

QA에서 실제로 거부해야 할 것은 무엇인가요?

순위를 반복하는 근거, 기준표에 없는 기준을 인용하는 근거, 그리고 근거와 일치하지 않는 순위입니다. 마지막 것은 생각보다 흔하며, 순위만을 확인하는 검사에서는 보이지 않습니다.

이러한 거부 기준을 공급업체가 적용한다고 가정하기보다는 명시적으로 지정하는 것이 좋습니다.

RLHF 선호 데이터란 무엇인가요?

두 개 이상의 모델 출력 중 어느 것이 더 나은지에 대한 인간의 판단으로, 선호되는 행동으로 모델을 훈련하는 데 사용됩니다. 유용한 선호 데이터는 각 판단에 대한 서면 근거를 포함합니다.

RLHF에서 서면 근거가 중요한 이유는 무엇인가요?

단순한 순위는 거의 신호를 제공하지 않기 때문입니다. 응답이 선호된 이유가 일반화되며, 이는 또한 감사할 수 있는 판단의 유일한 부분입니다.

주석자들은 생산 RLHF 작업 전에 보정되어야 하나요?

예. 고정된 기준표에 대한 보정은 배치에 대한 비용을 지불하기 전에 오독을 드러내며, 합의 점수가 사용 가능한지 여부를 결정하는 주요 요소입니다.