의료, 법률 및 금융 평가를 위한 도메인 전문가 패널 구축

모집 시작 전에 무엇을 지정해야 하나요?

정확한 자격, 현재 실무 여부 포함. 은퇴한 전문가와 현직 전문가는 다른 존재이며, 어떤 것이 필요한지는 현재 실무 규범이 작업에 중요한지에 따라 다릅니다.

또한 보정 세트를 지정하세요. 개별적으로 우수한 전문가들로 구성된 패널이 공유된 보정 없이 개별적으로 높은 품질의 판단을 내리더라도, 이는 사용 가능한 지표로 집계되지 않습니다.

아무도 묻지 않는 검증 질문은 무엇인가요?

자격이 어떻게 확인되었는지. 증명서를 읽는 것과 발급 기관의 공개 등록부에 해당 인물이 나타나는지를 확인하는 것 사이에는 실제 차이가 있으며, 많은 공급자가 둘 다 검증된 것으로 설명합니다.

공개 등록부가 없는 직업의 경우 어떤 일이 발생하는지 구체적으로 물어보세요. 정직한 답변은 그 검증이 더 약하다는 것이며, 그렇게 말하는 공급자가 일관된 검증을 주장하는 공급자보다 더 신뢰할 수 있습니다.

• 자격이 등록부 확인인지 문서 확인인지?
• 검증이 날짜가 기록되고 기록되는지?
• 등록부가 공개되지 않은 경우 어떻게 되는지?
• 현재 실무 상태가 확인되는지?
• 패널리스트별로 구분이 보이는지?

패널은 얼마나 커야 하나요?

숫자를 정하기보다는 불일치율을 따르세요. 작게 시작하고, 실제 작업에서 자격을 갖춘 패널리스트들이 얼마나 자주 의견이 다른지 측정한 후, 불일치가 높은 축에서만 규모를 늘리세요.

모든 작업 유형에 대해 균일한 패널 크기는 세 명의 전문가가 항상 동의하는 질문에 전문가의 시간을 낭비하고, 그렇지 않은 질문에서는 샘플링이 부족합니다.

전문가 패널의 자격을 어떻게 검증하나요?

자격이 발급 기관의 공개 등록부와 대조되는지 또는 단순히 문서로 읽히는지, 검증이 날짜가 기록되는지, 그리고 공개된 등록부가 없는 직업의 경우 어떤 일이 발생하는지 물어보세요.

도메인 전문가 패널에 보정이 필요한가요?

예. 공유된 보정 세트가 없으면 개별적으로 타당한 전문가 판단이 일관된 지표로 집계되지 않습니다.

패널에는 몇 명의 전문가가 있어야 하나요?

고정된 숫자가 아닌 실제 작업에서 측정된 불일치율에 따라 크기를 조정하고, 자격을 갖춘 전문가들이 진정으로 의견이 다른 축에서만 패널리스트를 추가하세요.