JwumaConstruir um painel de especialistas em domínios para avaliação médica, jurídica e financeira
· 2 min de leitura · expert data, evaluation
Esta tradução foi produzida por máquina e não foi verificada por um falante nativo. Em caso de dúvida, a versão em inglês é a original. Diga-nos se algo estiver errado e corrigiremos. English
Um painel de especialistas precisa de três coisas especificadas antes do recrutamento: a qualificação exata necessária, como essa qualificação será verificada e o conjunto de calibração contra o qual o painel será alinhado. A questão de verificação é aquela que a maioria dos compradores ignora, e é onde reside a diferença entre fornecedores.
Em resumo
- Especifique a qualificação exata, não um nível geral de senioridade.
- Pergunte se as credenciais são verificadas por registo ou por documento.
- Os painéis precisam de calibração contra um conjunto partilhado antes do trabalho de produção.
- O estado de prática atual é tão importante quanto a qualificação original.
- O tamanho do painel deve seguir a taxa de desacordo, não um número fixo.
Está a definir algo assim?
Preferimos falar do problema em vez de orçamentar por volume.
Ver capacidadesO que deve especificar antes de começar o recrutamento?
A qualificação precisa, incluindo se é necessário estar atualmente a exercer. Um especialista reformado e um em exercício são coisas diferentes, e qual deles precisa depende de se as normas de prática atuais são importantes para a sua tarefa.
Especifique também o conjunto de calibração. Um painel de praticantes individualmente excelentes sem calibração partilhada produz julgamentos individuais de alta qualidade que não se agregam em uma métrica utilizável.
Qual é a questão de verificação que ninguém pergunta?
Como a credencial foi verificada. Há uma diferença real entre alguém ler um certificado e alguém confirmar que a pessoa aparece no registo público do órgão emissor, e muitos fornecedores descrevem ambos como verificados.
Pergunte especificamente o que acontece para profissões onde não existe registo público. A resposta honesta é que a verificação é mais fraca nesses casos, e um fornecedor que o admite é mais confiável do que um que afirma verificação uniforme.
- A credencial é verificada por registo ou por documento?
- A verificação é datada e registada?
- O que acontece onde não é publicado um registo?
- O estado atual de prática é confirmado?
- A distinção é visível para si por cada membro do painel?
Qual deve ser o tamanho de um painel?
Siga a taxa de desacordo em vez de escolher um número. Comece pequeno, meça com que frequência os membros qualificados do painel discordam na sua tarefa real, e aumente o tamanho apenas nos eixos onde o desacordo é alto.
Tamanhos uniformes de painel para todos os tipos de tarefas desperdiçam o tempo dos especialistas nas questões onde três praticantes sempre concordam, e subamostram aquelas onde não concordam.
Outras perguntas
Como verifico as credenciais de um painel de especialistas?
Pergunte se as credenciais são verificadas contra o registo público do órgão emissor ou apenas lidas como documentos, se a verificação é datada, e o que acontece para profissões sem registo publicado.
Um painel de especialistas em domínios precisa de calibração?
Sim. Sem um conjunto de calibração partilhado, julgamentos de especialistas individualmente sólidos não se agregam em uma métrica consistente.
Quantos especialistas devem estar em um painel?
Dimensione-o a partir da taxa de desacordo medida na sua tarefa real em vez de um número fixo, e adicione membros do painel apenas nos eixos onde especialistas qualificados genuinamente discordam.