建立医疗、法律和金融评估领域专家小组

· 1 分钟阅读 · expert data, evaluation
本译文由机器生成,未经母语者校对。如有不清楚之处,以英文原版为准。如发现错误请告知我们,我们会更正。 English
在招聘之前,专家小组需要明确三件事:所需的具体资质、如何验证该资质,以及小组将对齐的校准集。验证问题是大多数买家跳过的,而这正是供应商之间的区别所在。
要点摘要
- 指定具体资质,而不是一般的资历水平。
- 询问资质是通过注册核查还是文件核查。
- 小组需要在生产工作之前对齐一个共享的校准集。
- 执业状态与原始资质同样重要。
- 小组规模应根据分歧率而不是固定数量来决定。
在招聘开始之前应该指定什么?
具体的资质,包括是否需要当前执业。退休专家和在职专家是不同的,您需要哪种取决于当前实践规范对您的任务是否重要。
还要指定校准集。一个由个人优秀的从业者组成的小组,如果没有共享的校准,将产生高质量的个人判断,但无法汇聚成可用的指标。
没人问的验证问题是什么?
资质是如何核查的。有人阅读证书和有人确认该人出现在颁发机构的公共注册上之间存在真正的区别,许多供应商将两者都描述为已验证。
具体询问在没有公共注册的职业中会发生什么。诚实的答案是,在这种情况下,核查较弱,而承认这一点的供应商比声称统一验证的更值得信赖。
- 资质是通过注册核查还是文件核查?
- 核查是否有日期记录?
- 在没有发布注册的情况下会发生什么?
- 是否确认当前执业状态?
- 这种区别是否对您每位小组成员可见?
小组应该有多大?
根据分歧率而不是选择一个数字。先从小规模开始,测量合格小组成员在您的实际任务上分歧的频率,然后仅在分歧较大的方面扩大规模。
在所有任务类型中采用统一的小组规模会浪费专家时间在三位从业者总是意见一致的问题上,而对他们意见不一致的问题采样不足。
其他问题
如何验证专家小组的资质?
询问资质是否通过颁发机构的公共注册核查或仅作为文件阅读,核查是否有日期,以及在没有发布注册的职业中会发生什么。
领域专家小组需要校准吗?
需要。没有共享的校准集,单独合理的专家判断无法汇聚成一致的指标。
小组应该有多少专家?
根据您实际任务的分歧率来确定规模,而不是固定数量,并仅在合格专家真正存在分歧的方面增加小组成员。