주석자 간 일치도, 어느 정도가 충분한가

왜 하나의 숫자로는 충분하지 않은가?

데이터셋은 균일하지 않기 때문입니다. 전체적으로 0.85의 일치도는 실제로 중요한 슬라이스가 0.4인 경우를 포함할 수 있으며, 헤드라인 숫자에서는 이를 알 수 없습니다.

이것은 데이터셋이 수용되고 나서 훈련에서 실패하는 가장 일반적인 방법입니다. 수용하기 전에 세부 내역을 요청하세요.

언제 불일치가 실제로 답인가?

진정으로 주관적인 판단에서. 자격을 갖춘 주석자의 절반이 응답을 수용 가능하다고 보고 나머지 절반이 그렇지 않다고 판단할 경우, 단일 레이블을 강요하면 배치에서 가장 유익한 정보를 파괴하게 됩니다.

특히 정렬 및 안전 작업에서는 잘 운영되는 공급업체가 분할을 기록하고 이를 심사로 보내며, 다수결로 해결하고 깨끗한 일치도를 보고하는 대신 기록을 보존합니다.

공급업체에 무엇을 보고하도록 요청해야 하는가?

슬라이스별 일치도, 주석자별 일치도, 그리고 클래스 분포가 치우친 경우 기회 수정 측정을 요청하세요. 항목의 90%가 하나의 레이블을 공유하는 작업에서의 원시 백분율 일치도는 거의 아무것도 알려주지 않습니다.

또한 리뷰어 자체가 어떻게 측정되는지도 물어보세요. 주석자는 측정하지만 리뷰어는 측정하지 않는 공급업체는 데이터셋의 모든 레이블 위에 검토되지 않은 단일 실패 지점을 가지고 있습니다.

• 데이터 슬라이스별 일치도
• 주석자별 일치도
• 치우친 분포에 대한 기회 수정 측정
• 리뷰어가 어떻게 측정되는지
• 진정한 분할이 어떻게 기록되고 심사되는지

어떤 주석자 간 일치도 점수를 요구해야 하나요?

보편적인 숫자는 없습니다. 중요한 것은 슬라이스별 및 주석자별로 나누어진 일치도와 불일치가 오류가 아닌 정당한 신호인 작업인지 여부입니다.

높은 일치도가 항상 좋은가요?

아닙니다. 쉬운 작업에서의 높은 일치도는 정보를 제공하지 않으며, 주석자들이 루브릭을 잘못 이해하고 공유하는 것에 수렴했음을 나타낼 수도 있습니다.

불일치는 항상 해결해야 하나요?

주관적인 작업에서는 그렇지 않습니다. 자격을 갖춘 주석자 간의 체계적인 불일치는 배치에서 가장 유용한 정보인 경우가 많으며, 이를 하나의 레이블로 평탄화하면 정보를 버리게 됩니다.