Jwumaتقييم النموذج: خبراء المجال مقابل العموميين الذين يعملون من قائمة مراجعة
· 2 دقيقة قراءة · evaluation, expert data
أُنتجت هذه الترجمة آلياً ولم يراجعها متحدث أصلي. عند الالتباس، النسخة الإنجليزية هي الأصل. أخبرنا إذا كان هناك خطأ وسنصححه. English
يمكن للعموميين تقييم النغمة والمساعدة والتنسيق والإخفاقات الواضحة في الأمان بشكل موثوق. لا يمكنهم تقييم ما إذا كانت الإجابة السريرية أو القانونية صحيحة، لأن ذلك يتطلب معرفة المجال. تكليف التقييم العام للمحتوى الخبير ينتج درجات واثقة تقيس الطلاقة بدلاً من الدقة.
باختصار
- يقيم العموميون الصفات السطحية بشكل موثوق: النغمة، التنسيق، المساعدة.
- صحة المجال تتطلب مقيّماً مؤهلاً في ذلك المجال.
- الإجابات الخاطئة الطلقة تحصل على درجات جيدة مع المقيّمين غير المؤهلين.
- تصنيفات الفشل أكثر قابلية للتنفيذ من الدرجات الإجمالية.
- يجب أن يتم التقييم في لغة من قبل متحدثي تلك اللغة.
ما الذي يمكن للعمومي أن يحكم عليه بشكل موثوق؟
ما إذا كانت الإجابة واضحة، محجوزة بشكل مناسب، منسقة بشكل صحيح، مستجيبة لما طُلب، وخالية من مشاكل الأمان الواضحة. هذه أمور حقيقية وجديرة بالقياس، وتقوم لجنة العموميين المدربة جيداً بذلك بشكل جيد وبتكلفة منخفضة.
ما لا يمكنهم فعله هو إخبارك ما إذا كانت الإجابة صحيحة في مجال لا يعرفونه. هذا ليس مشكلة تدريب، بل هو تعريف المجال.
ما الذي يحدث عندما تخطئ في هذا؟
تحصل على درجات عالية تقيس الشيء الخطأ. الإجابة السريرية الطلقة والواثقة والمنظمة بشكل جيد والخاطئة تماماً تحصل على درجات جيدة مع مقيّم لا يمكنه تقييم الصحة السريرية، والمقياس الناتج يضللك بشأن أمان النموذج.
هذا أسوأ من عدم وجود تقييم، لأن الرقم يتم الإبلاغ عنه والعمل بناءً عليه.
كيف تعرف ما الذي تحتاجه؟
اسأل كيف ستبدو الإجابة الخاطئة. إذا كانت الإجابة الخاطئة يمكن التعرف عليها من قبل شخص عادي ذكي، فإن العموميين مناسبون. إذا كانت الإجابة الخاطئة تبدو تماماً مثل الإجابة الصحيحة إلا إذا كنت تعرف المجال، فأنت بحاجة إلى ممارس.
تحتاج معظم برامج التقييم إلى كليهما، على محاور مختلفة من نفس المخرج، بدلاً من اختيار واحد.
- هل يمكن لشخص عادي التعرف على إجابة خاطئة؟
- هل يبدو نمط الفشل كأنه كفاءة طلقة؟
- هل المحتوى منظم أو حرج للأمان؟
- هل المخرج في لغة يتحدثها مقيّموك بالفعل؟
ما الذي يجب أن يكون المخرج؟
تصنيف الفشل، وليس مجرد درجة. معرفة أن النموذج يحصل على 72 لا يخبرك بشيء قابل للتنفيذ. معرفة أن إخفاقاته تتجمع في ثلاثة أنماط مسماة، أحدها ذو صلة بالأمان، يخبرك بما يجب إصلاحه.
اطلب التصنيف كمنتج عند تحديد المواصفات. نادراً ما يعمل تركيب واحد من البيانات المسجلة بعد ذلك.
أسئلة أخرى
متى أحتاج إلى خبراء المجال لتقييم النموذج؟
عندما تبدو الإجابة الخاطئة كأنها إجابة صحيحة لشخص غير متخصص. إذا كان نمط الفشل هو كفاءة طلقة، فإن الشخص المؤهل في المجال فقط يمكنه اكتشافه.
هل يمكن للمقيّمين العموميين تقييم المخرجات السريرية أو القانونية؟
يمكنهم تقييم النغمة والتنسيق والقضايا الأمنية الواضحة، لكن ليس الصحة. استخدامهم للصحة ينتج درجات تقيس الطلاقة وتضلل بشأن أمان النموذج.
ما الذي يجب أن تقدمه برامج التقييم بجانب الدرجات؟
تصنيف الفشل الذي يسمي الطرق المختلفة التي يفشل بها النموذج. الدرجة وحدها ليست قابلة للتنفيذ؛ أنماط الفشل المسماة هي.