アノテーター間の合意、実際にどの数値が十分か

なぜ一つの数値では不十分なのか？

データセットは均一ではないからです。全体で0.85の合意があっても、実際に関心のあるスライスが0.4であることがあり、見出しの数値にはそれが含まれていることは示されません。

これはデータセットが受け入れられ、トレーニングで失敗する最も一般的な方法です。受け入れる前に内訳を求めてください。

意見の不一致が実際に答えである場合はいつか？

本当に主観的な判断においてです。資格のあるアノテーターの半数が応答を受け入れ可能と考え、半数がそうでないと考える場合、単一のラベルを強制するとバッチ内で最も情報量の多いものが失われます。

特にアラインメントと安全性の作業では、適切に運営されているサプライヤーは分割を記録し、トレイルを保存したまま裁定に回します。多数決で解決し、クリーンな合意を報告するのではなく。

サプライヤーに何を報告させるべきか？

スライスごとの合意、アノテーターごとの合意、およびクラス分布が偏っている場合の偶然修正された測定です。90％の項目が1つのラベルを共有するタスクでの生のパーセンテージ合意はほとんど何も教えてくれません。

また、レビュアー自身がどのように測定されているかを尋ねてください。アノテーターを測定してもレビュアーを測定しないサプライヤーは、データセット内のすべてのラベルの上に未検査の単一障害点を持っています。

• データスライスごとの合意
• アノテーターごとの合意
• 偏った分布における偶然修正された測定
• レビュアーがどのように測定されているか
• 実際の分割がどのように記録され、裁定されるか

どのアノテーター間の合意スコアを要求すべきですか？

普遍的な数値はありません。重要なのは、スライスごとおよびアノテーターごとの合意であり、意見の不一致がエラーではなく正当なシグナルであるタスクかどうかです。

高い合意は常に良いことですか？

いいえ。簡単なタスクでの高い合意は情報を提供せず、アノテーターがルーブリックの誤読に共鳴していることを示す場合もあります。

意見の不一致は常に解決されるべきですか？

主観的なタスクではありません。資格のあるアノテーター間の体系的な意見の不一致は、バッチ内で最も有用な情報であることが多く、それを1つのラベルに平坦化すると失われます。