RLHFの選好データ、価値あるものにするための指定方法

なぜ書面による根拠が必要なのか？

選好だけではほとんど情報がないからです。10人のアノテーターが応答Bを好むことは、Bが何らかの不特定の方法で優れていたことをモデルに伝えます。10人のアノテーターがBを好む理由が薬の投与量について推測しなかったからである場合、それは一般化する教訓です。

また、品質の確認が可能になります。順位付けは監査できませんが、根拠は読めますし、順位付けを単に言い換えただけの根拠は明らかに空虚です。

キャリブレーションには何が含まれるのか？

アノテーターを、既知の正しい判断がルーブリックの下で設定されたアイテムのセットに通し、プロダクションデータに触れる前に表面化した誤読を修正します。

これを省略することは、2週間後に使えない合意スコアとして現れる偽の経済です。誤読は常に存在します。キャリブレーションは、それをバッチの支払い前に見つけるか後に見つけるかを決定します。

意見の相違はどのように扱うべきか？

記録します。特にアラインメント作業では、キャリブレーションされたアノテーター間の本当の分裂はプロンプトに関する発見であり、平滑化すべきエラーではありません。

供給者に分裂をどう処理するか尋ねてください。多数決で解決し、クリーンな合意を報告することは一般的であり、データセットの最も価値のある行を破壊します。

QAは実際に何を拒否すべきか？

順位付けを言い換えた根拠、ルーブリックにない基準を引用した根拠、そしてそれに付随する根拠と一致しない順位付けです。最後のものは思ったよりも一般的で、順位付けだけを見るチェックには見えません。

これらの拒否基準を供給者が適用することを前提とするのではなく、明示的に指定する価値があります。

RLHFの選好データとは何ですか？

モデルの出力のうちどれが優れているかについての人間の判断で、モデルを好ましい行動に訓練するために使用されます。有用な選好データには、各判断に書面による根拠が含まれます。

RLHFにおいて書面による根拠が重要な理由は何ですか？

順位付けだけではほとんど信号を持たないからです。応答が好まれた理由が一般化し、また判断の唯一監査可能な部分です。

アノテーターはプロダクションRLHF作業前にキャリブレーションされるべきですか？

はい。固定されたルーブリックに対するキャリブレーションは、バッチの支払い前に誤読を表面化させ、合意スコアが使えるかどうかの主な決定要因です。