Cách viết một thang điểm chú thích có thể áp dụng thực tế

Tại sao thang điểm thất bại?

Hầu như không bao giờ vì định nghĩa sai. Chúng thất bại vì định nghĩa ổn nhưng các trường hợp ngoại lệ lại không có, dẫn đến hai mươi người chú thích độc lập tạo ra hai mươi câu trả lời khác nhau cho cùng một câu hỏi chưa được giải quyết.

Triệu chứng phổ biến nhất là điểm số đồng ý trông có vẻ chấp nhận được tổng thể trong khi một phần cụ thể của dữ liệu lại hoàn toàn vô giá trị. Sự đồng ý tổng hợp che giấu điều này rất tốt.

Bao nhiêu phần của thang điểm nên là các trường hợp ngoại lệ?

Phần lớn. Nếu thang điểm của bạn chủ yếu là định nghĩa với một phần ngắn của ví dụ ở cuối, đó là một từ điển thuật ngữ hơn là một thang điểm.

Cách viết hiệu quả là chạy một lô thử nghiệm nhỏ với một thang điểm chưa được xác định rõ, thu thập mọi trường hợp mà người chú thích báo cáo là mơ hồ, và biến mỗi trường hợp thành một quy tắc rõ ràng. Mục đích của thử nghiệm là tìm ra các câu hỏi, không phải để tạo ra dữ liệu.

Tại sao phải đóng băng thang điểm?

Bởi vì nếu tiêu chuẩn thay đổi giữa lô, công việc hoàn thành đúng theo định nghĩa cũ sẽ trở nên sai lầm hồi tố, và bạn không thể biết từ tập dữ liệu mục nào đã được đánh giá theo phiên bản nào.

Đóng băng có nghĩa là phiên bản có hiệu lực khi một lô mở ra sẽ điều chỉnh lô đó. Cải tiến áp dụng cho lô tiếp theo. Mỗi nhãn sau đó mang phiên bản đã tạo ra nó, điều này làm cho tập dữ liệu có thể kiểm toán được một năm sau khi ai đó hỏi tại sao hai mục tương tự lại được gắn nhãn khác nhau.

Làm thế nào để xử lý sự mơ hồ được báo cáo?

Như một báo cáo khiếm khuyết về thang điểm của bạn, đó chính là nó. Một người chú thích báo cáo thay vì đoán đã làm đúng hoàn toàn và không bao giờ nên bị phạt vì điều đó.

Các nền tảng phạt việc báo cáo sẽ nhận được ít báo cáo hơn và dữ liệu kém hơn, vì sự mơ hồ không biến mất, nó chỉ được giải quyết một cách âm thầm và không nhất quán ở nơi không ai có thể thấy.

Điều gì làm cho một thang điểm chú thích tốt?

Xử lý rõ ràng các trường hợp ngoại lệ. Người chú thích hiếm khi không đồng ý về các ví dụ rõ ràng, vì vậy một thang điểm chủ yếu là định nghĩa và ít trường hợp ngoại lệ sẽ tạo ra các nhãn không nhất quán.

Thang điểm có nên thay đổi giữa dự án không?

Không. Đóng băng nó khi lô bắt đầu để tiêu chuẩn không thể thay đổi, và áp dụng cải tiến cho lô tiếp theo. Nếu không, công việc hoàn thành đúng sẽ trở nên sai lầm hồi tố.

Điều gì nên xảy ra khi một người chú thích báo cáo một trường hợp mơ hồ?

Nó nên được coi là một khiếm khuyết trong thang điểm và được giải quyết rõ ràng. Phạt việc báo cáo chỉ đẩy sự mơ hồ xuống ngầm nơi nó được giải quyết không nhất quán.