医療、法務、金融評価のためのドメイン専門家パネルの構築

採用開始前に何を指定すべきですか？

正確な資格、現在の実務が必要かどうかを含めて指定します。退職した専門家と現役の専門家は異なるものであり、どちらが必要かは現在の実務基準がタスクにとって重要かどうかによります。

また、キャリブレーションセットを指定します。個々に優れた専門家のパネルでも、共有キャリブレーションがなければ、高品質な個別判断が集約されて使える指標にはなりません。

誰も尋ねない検証の質問とは何ですか？

資格がどのように確認されたかです。証明書を読むだけの確認と、発行機関の公的登録にその人が載っていることを確認するのでは大きな違いがありますが、多くの供給者はどちらも検証済みと説明します。

公的登録が存在しない職業に対して何が行われるかを具体的に尋ねます。正直な答えは、その場合の確認は弱くなるということであり、そう言う供給者は一様な検証を主張する供給者よりも信頼できます。

• 資格は登録確認されているか、文書確認されているか？
• 確認は日付が記録されているか？
• 登録が公開されていない場合はどうなるか？
• 現在の実務状況は確認されているか？
• その区別はパネリストごとに見えるか？

パネルのサイズはどれくらいにすべきですか？

数を選ぶのではなく、不一致率に従います。小規模で始め、実際のタスクで資格のあるパネリストがどれくらいの頻度で意見が異なるかを測定し、不一致が高い軸でのみサイズを増やします。

すべてのタスクタイプで一様なパネルサイズは、3人の専門家が常に同意する質問に専門家の時間を無駄にし、同意しない質問を過小評価します。

専門家パネルの資格をどのように検証しますか？

資格が発行機関の公的登録に対して確認されているか、文書として読むだけなのか、確認が日付入りで記録されているか、公開登録がない職業に対して何が行われるかを尋ねます。

ドメイン専門家パネルにはキャリブレーションが必要ですか？

はい。共有キャリブレーションセットがなければ、個々に健全な専門家の判断は一貫した指標に集約されません。

パネルには何人の専門家が必要ですか？

固定数ではなく、実際のタスクでの不一致率からサイズを決定し、資格のある専門家が本当に意見が異なる軸でのみパネリストを追加します。