현실에 부딪혀도 살아남는 주석 루브릭 작성법

루브릭은 왜 실패하나요?

거의 항상 정의가 잘못되어서가 아닙니다. 정의는 괜찮지만 경계 사례가 없어서 스무 명의 주석자가 각각 동일한 해결되지 않은 질문에 대해 스무 가지 다른 답을 독립적으로 만들어내기 때문입니다.

가장 흔한 증상은 전체적으로는 수용 가능한 것처럼 보이는 합의 점수지만, 데이터의 특정 부분은 조용히 무가치한 경우입니다. 집계된 합의는 이를 잘 숨깁니다.

루브릭의 어느 정도가 경계 사례여야 하나요?

대부분이어야 합니다. 루브릭이 주로 정의로 이루어져 있고 끝에 짧은 예시 섹션이 있다면, 그것은 루브릭이 아니라 용어집입니다.

생산적인 작성 방법은 불충분하게 명시된 루브릭으로 작은 파일럿 배치를 실행하고, 주석자가 모호하다고 표시한 모든 사례를 수집하여 각각을 명시적인 규칙으로 바꾸는 것입니다. 파일럿의 목적은 데이터를 생성하는 것이 아니라 질문을 찾는 것입니다.

왜 루브릭을 고정해야 하나요?

기준이 배치 중간에 이동하면 이전 정의에 따라 올바르게 완료된 작업이 소급적으로 잘못되며, 데이터셋에서 어떤 항목이 어떤 버전으로 판단되었는지 알 수 없기 때문입니다.

고정한다는 것은 배치가 시작될 때의 버전이 그 배치를 지배한다는 것을 의미합니다. 개선 사항은 다음 배치에 적용됩니다. 그런 다음 모든 라벨은 그것을 생성한 버전을 가지게 되며, 이는 1년 후 누군가가 왜 두 개의 유사한 항목이 다르게 라벨링되었는지 물을 때 데이터셋을 감사할 수 있게 합니다.

표시된 모호함은 어떻게 처리해야 하나요?

루브릭에 대한 결함 보고서로 처리해야 합니다. 주석자가 추측하지 않고 표시한 것은 정확히 올바른 행동이며, 이에 대해 절대 처벌받아서는 안 됩니다.

표시를 처벌하는 플랫폼은 표시가 줄어들고 데이터가 나빠집니다. 모호함은 사라지지 않고, 아무도 볼 수 없는 곳에서 조용히 일관성 없이 해결됩니다.

좋은 주석 루브릭이란 무엇인가요?

경계 사례의 명시적 처리입니다. 주석자들은 명확한 예시에 대해 거의 이견이 없으므로, 정의가 대부분이고 경계 사례가 적은 루브릭은 일관성 없는 라벨을 생성할 것입니다.

프로젝트 중간에 루브릭을 변경해야 하나요?

아니요. 배치가 시작될 때 이를 고정하여 기준이 변동되지 않도록 하고, 개선 사항은 다음 배치에 적용합니다. 그렇지 않으면 올바르게 완료된 작업이 소급적으로 잘못됩니다.

주석자가 모호한 사례를 표시하면 어떻게 해야 하나요?

루브릭의 결함으로 간주하고 명시적으로 해결해야 합니다. 표시를 처벌하면 모호함이 지하로 밀려나 일관성 없이 해결됩니다.