JwumaConstrucción de un panel de expertos en dominios para evaluación médica, legal y financiera
· 3 min de lectura · expert data, evaluation
Esta traducción fue generada por una máquina y no ha sido revisada por un hablante nativo. Ante cualquier duda, la versión en inglés es la original. Avísanos si algo está mal y lo corregiremos. English
Un panel de expertos necesita tres cosas especificadas antes del reclutamiento: la calificación exacta requerida, cómo se verificará esa calificación y el conjunto de calibración con el que se alineará el panel. La pregunta de verificación es la que la mayoría de los compradores omite, y es donde realmente radica la diferencia entre los proveedores.
En resumen
- Especifique la calificación exacta, no un nivel general de antigüedad.
- Pregunte si las credenciales se verifican en el registro o se revisan los documentos.
- Los paneles necesitan calibración contra un conjunto compartido antes del trabajo de producción.
- El estado de práctica actual importa tanto como la calificación original.
- El tamaño del panel debe seguir la tasa de desacuerdo, no un número fijo.
¿Estás definiendo algo así?
Preferimos hablar del problema antes que cotizar por volumen.
Ver capacidades¿Qué debe especificar antes de que comience el reclutamiento?
La calificación precisa, incluyendo si se requiere que esté en práctica actualmente. Un especialista retirado y uno en práctica son cosas diferentes, y cuál necesita depende de si las normas de práctica actuales importan para su tarea.
También especifique el conjunto de calibración. Un panel de profesionales individualmente excelentes sin calibración compartida produce juicios individuales de alta calidad que no se agregan en una métrica utilizable.
¿Cuál es la pregunta de verificación que nadie hace?
Cómo se verificó la credencial. Hay una diferencia real entre alguien que lee un certificado y alguien que confirma que la persona aparece en el registro público del organismo emisor, y muchos proveedores describen ambos como verificados.
Pregunte específicamente qué sucede para las profesiones donde no existe un registro público. La respuesta honesta es que la verificación es más débil allí, y un proveedor que lo dice es más confiable que uno que afirma una verificación uniforme.
- ¿La credencial se verifica en el registro o se revisa el documento?
- ¿La verificación está fechada y registrada?
- ¿Qué sucede donde no se publica un registro?
- ¿Se confirma el estado de práctica actual?
- ¿Es visible la distinción para usted por panelista?
¿Qué tan grande debe ser un panel?
Siga la tasa de desacuerdo en lugar de elegir un número. Comience pequeño, mida con qué frecuencia los panelistas calificados discrepan en su tarea real, y aumente el tamaño solo en los ejes donde el desacuerdo es alto.
Tamaños de panel uniformes en todos los tipos de tareas desperdician el tiempo de los expertos en las preguntas donde tres profesionales siempre están de acuerdo, y submuestrean las donde no lo están.
También preguntan
¿Cómo verifico las credenciales de un panel de expertos?
Pregunte si las credenciales se verifican contra el registro público del organismo emisor o solo se leen como documentos, si la verificación está fechada, y qué sucede para las profesiones sin un registro publicado.
¿Necesita calibración un panel de expertos en dominios?
Sí. Sin un conjunto de calibración compartido, los juicios de expertos individualmente sólidos no se agregan en una métrica consistente.
¿Cuántos expertos deben estar en un panel?
Determine el tamaño a partir de la tasa de desacuerdo medida en su tarea real en lugar de un número fijo, y agregue panelistas solo en los ejes donde los expertos calificados realmente discrepan.