모델 평가, 체크리스트로 작업하는 도메인 전문가 대 일반 평가자

일반 평가자가 신뢰성 있게 판단할 수 있는 것은 무엇인가요?

답변이 명확한지, 적절하게 조정되었는지, 올바르게 형식화되었는지, 요청된 것에 응답하는지, 명백한 안전 문제 없이 작성되었는지를 평가할 수 있습니다. 이는 실제로 측정할 가치가 있으며, 잘 조정된 일반 평가 패널은 이를 잘 수행하고 비용도 저렴합니다.

그러나 그들이 할 수 없는 것은 그들이 모르는 도메인에서 답변이 올바른지 여부를 판단하는 것입니다. 이는 훈련 문제라기보다 도메인의 정의입니다.

이것을 잘못 이해하면 어떤 문제가 발생하나요?

잘못된 것을 측정하는 높은 점수를 받게 됩니다. 유창하고 자신감 있으며 잘 구조화되었지만 완전히 잘못된 임상 답변은 임상적 정확성을 평가할 수 없는 평가자에게 높은 점수를 받으며, 그 결과 지표는 모델 안전성에 대해 잘못된 정보를 제공합니다.

이는 평가가 없는 것보다 더 나쁩니다. 왜냐하면 숫자가 보고되고 이에 따라 조치가 취해지기 때문입니다.

어떤 평가자가 필요한지 어떻게 알 수 있나요?

잘못된 답변이 어떻게 보일지를 물어보세요. 잘못된 답변이 지적인 일반인에게 인식될 수 있다면 일반 평가자가 괜찮습니다. 잘못된 답변이 해당 분야를 알지 않으면 올바른 답변처럼 보인다면 실무자가 필요합니다.

대부분의 평가 프로그램은 하나를 선택하기보다는 동일한 출력의 다른 축에서 둘 다 필요로 합니다.

• 일반인이 잘못된 답변을 인식할 수 있나요?
• 실패 모드가 유창한 능력처럼 보이나요?
• 내용이 규제되거나 안전에 중요한가요?
• 출력이 평가자가 실제로 구사하는 언어로 되어 있나요?

출력은 무엇이어야 하나요?

단순한 점수가 아닌 실패 분류입니다. 모델이 72점을 받았다는 것은 실행 가능한 정보를 제공하지 않습니다. 실패가 세 가지 명명된 모드로 클러스터링되며 그 중 하나가 안전과 관련이 있다는 것을 아는 것은 무엇을 수정해야 하는지를 알려줍니다.

사양 단계에서 분류를 산출물로 요청하세요. 점수화된 데이터에서 나중에 이를 추가하는 것은 거의 효과가 없습니다.

모델 평가에 도메인 전문가가 필요한 경우는 언제인가요?

잘못된 답변이 비전문가에게 올바른 답변처럼 보일 때입니다. 실패 모드가 유창한 능력이라면, 해당 도메인에 자격을 갖춘 사람만이 이를 감지할 수 있습니다.

일반 평가자가 임상 또는 법적 출력을 평가할 수 있나요?

그들은 톤, 형식 및 명백한 안전 문제를 평가할 수 있지만 정확성은 평가할 수 없습니다. 정확성을 위해 그들을 사용하는 것은 유창함을 측정하는 점수를 생성하며 모델 안전성에 대해 잘못된 정보를 제공합니다.

평가 프로그램은 점수 외에 무엇을 제공해야 하나요?

모델이 실패하는 명확한 방법을 명명한 실패 분류입니다. 점수만으로는 실행 가능하지 않으며, 명명된 실패 모드는 실행 가능합니다.