JwumaConstituer un panel d'experts en domaine pour l'évaluation médicale, juridique et financière
· 3 min de lecture · expert data, evaluation
Cette traduction a été produite par une machine et n'a pas été vérifiée par un locuteur natif. En cas de doute, la version anglaise fait foi. Signalez-nous toute erreur et nous la corrigerons. English
Un panel d'experts nécessite trois éléments spécifiés avant le recrutement : la qualification exacte requise, comment cette qualification sera vérifiée, et l'ensemble de calibration auquel le panel sera aligné. La question de vérification est celle que la plupart des acheteurs omettent, et c'est là que réside la différence entre les fournisseurs.
En bref
- Spécifiez la qualification exacte, pas un niveau de séniorité général.
- Demandez si les qualifications sont vérifiées par registre ou par document.
- Les panels ont besoin d'un calibrage contre un ensemble partagé avant le travail de production.
- Le statut de praticien est aussi important que la qualification initiale.
- La taille du panel doit suivre le taux de désaccord, pas un nombre fixe.
Un projet de ce type à cadrer ?
Nous préférons parler du problème plutôt que chiffrer un volume.
Voir nos prestationsQue devez-vous spécifier avant de commencer le recrutement ?
La qualification précise, y compris si le statut de praticien actuel est requis. Un spécialiste retraité et un praticien en activité sont des choses différentes, et celui dont vous avez besoin dépend de l'importance des normes de pratique actuelles pour votre tâche.
Spécifiez également l'ensemble de calibration. Un panel de praticiens individuellement excellents sans calibration partagée produit des jugements individuels de haute qualité qui ne s'agrègent pas en une métrique utilisable.
Quelle est la question de vérification que personne ne pose ?
Comment la qualification a été vérifiée. Il y a une réelle différence entre quelqu'un qui lit un certificat et quelqu'un qui confirme que la personne figure sur le registre public de l'organisme émetteur, et de nombreux fournisseurs décrivent les deux comme vérifiés.
Demandez spécifiquement ce qui se passe pour les professions où aucun registre public n'existe. La réponse honnête est que la vérification est plus faible dans ce cas, et un fournisseur qui le dit est plus digne de confiance qu'un qui prétend une vérification uniforme.
- La qualification est-elle vérifiée par registre ou par document ?
- La vérification est-elle datée et enregistrée ?
- Que se passe-t-il lorsqu'aucun registre n'est publié ?
- Le statut de praticien actuel est-il confirmé ?
- La distinction est-elle visible pour vous par panéliste ?
Quelle taille doit avoir un panel ?
Suivez le taux de désaccord plutôt que de choisir un nombre. Commencez petit, mesurez à quelle fréquence les panélistes qualifiés sont en désaccord sur votre tâche réelle, et augmentez la taille uniquement sur les axes où le désaccord est élevé.
Des tailles de panel uniformes pour tous les types de tâches gaspillent le temps des experts sur les questions où trois praticiens sont toujours d'accord, et sous-échantillonnent celles où ils ne le sont pas.
Autres questions
Comment vérifier les qualifications d'un panel d'experts ?
Demandez si les qualifications sont vérifiées par rapport au registre public de l'organisme émetteur ou simplement lues comme documents, si la vérification est datée, et ce qui se passe pour les professions sans registre publié.
Un panel d'experts en domaine a-t-il besoin de calibration ?
Oui. Sans un ensemble de calibration partagé, des jugements d'experts individuellement solides ne s'agrègent pas en une métrique cohérente.
Combien d'experts devraient être dans un panel ?
Dimensionnez-le à partir du taux de désaccord mesuré sur votre tâche réelle plutôt qu'un nombre fixe, et ajoutez des panélistes uniquement sur les axes où des experts qualifiés sont réellement en désaccord.