Đánh giá mô hình, chuyên gia lĩnh vực so với người tổng quát làm việc từ danh sách kiểm tra

Người tổng quát có thể đánh giá đáng tin cậy điều gì?

Liệu một câu trả lời có rõ ràng, được bảo lưu thích hợp, định dạng đúng, đáp ứng đúng yêu cầu và không có vấn đề an toàn rõ ràng. Đây là những điều thực sự và đáng để đo lường, và một nhóm người tổng quát được hiệu chỉnh tốt thực hiện chúng tốt và rẻ.

Điều họ không thể làm là cho bạn biết liệu câu trả lời có đúng trong một lĩnh vực mà họ không biết. Đó không phải là vấn đề đào tạo, đó là định nghĩa của lĩnh vực.

Điều gì xảy ra khi bạn làm ngược lại?

Bạn nhận được điểm cao đo lường sai điều. Một câu trả lời lâm sàng lưu loát, tự tin, có cấu trúc tốt và hoàn toàn sai đạt điểm cao với người đánh giá không thể đánh giá độ chính xác lâm sàng, và chỉ số kết quả làm bạn hiểu sai về độ an toàn của mô hình.

Điều này tệ hơn là không có đánh giá, vì một con số được báo cáo và hành động dựa trên nó.

Làm thế nào để bạn biết bạn cần gì?

Hỏi một câu trả lời sai sẽ trông như thế nào. Nếu một câu trả lời sai có thể nhận ra đối với một người thông minh không chuyên, người tổng quát là ổn. Nếu một câu trả lời sai trông giống hệt như một câu trả lời đúng trừ khi bạn biết lĩnh vực, bạn cần một người thực hành.

Hầu hết các chương trình đánh giá cần cả hai, trên các trục khác nhau của cùng một đầu ra, thay vì chọn một.

• Một người không chuyên có nhận ra câu trả lời sai không?
• Chế độ thất bại có trông giống như sự thành thạo lưu loát không?
• Nội dung có được quy định hoặc quan trọng về an toàn không?
• Đầu ra có bằng ngôn ngữ mà người đánh giá của bạn thực sự nói không?

Đầu ra nên là gì?

Một phân loại lỗi, không chỉ là một điểm số. Biết rằng một mô hình đạt điểm 72 không cho bạn biết điều gì có thể hành động. Biết rằng các lỗi của nó tập trung vào ba chế độ được đặt tên, một trong số đó liên quan đến an toàn, cho bạn biết cần sửa gì.

Yêu cầu phân loại như một sản phẩm đầu ra tại thời điểm đặc tả. Việc lắp đặt một từ dữ liệu đã được chấm điểm sau đó hiếm khi hiệu quả.

Khi nào tôi cần chuyên gia lĩnh vực để đánh giá mô hình?

Khi một câu trả lời sai sẽ trông giống như một câu trả lời đúng đối với một người không chuyên. Nếu chế độ thất bại là sự thành thạo lưu loát, chỉ có người có trình độ trong lĩnh vực mới có thể phát hiện ra.

Người đánh giá tổng quát có thể đánh giá đầu ra lâm sàng hoặc pháp lý không?

Họ có thể đánh giá giọng điệu, định dạng và các vấn đề an toàn rõ ràng, nhưng không phải độ chính xác. Sử dụng họ cho độ chính xác tạo ra các điểm số đo lường sự lưu loát và làm hiểu sai về độ an toàn của mô hình.

Một chương trình đánh giá nên cung cấp gì ngoài điểm số?

Một phân loại lỗi đặt tên các cách thức mà mô hình thất bại. Một điểm số đơn thuần không có tính hành động; các chế độ lỗi được đặt tên thì có.