JwumaSự đồng thuận giữa các người chú thích, con số nào thực sự đủ tốt
· 3 phút đọc · quality, specification
Bản dịch này do máy tạo ra và chưa được người bản ngữ kiểm tra. Khi có điểm chưa rõ, bản tiếng Anh là bản gốc. Hãy cho chúng tôi biết nếu có lỗi và chúng tôi sẽ sửa. English
Không có ngưỡng chung. Sự đồng thuận cao trong một nhiệm vụ dễ không có ý nghĩa gì, và sự đồng thuận thấp trong một nhiệm vụ thực sự gây tranh cãi có thể là phát hiện chứ không phải là lỗi. Hãy yêu cầu sự đồng thuận được phân tích theo từng phần và từng người chú thích thay vì một con số tổng hợp, vì con số tổng hợp thường che giấu phần bị lỗi.
Tóm tắt
- Một điểm số đồng thuận tổng hợp duy nhất che giấu các thất bại ở mức độ chi tiết.
- Sự đồng thuận cao trong một nhiệm vụ tầm thường không mang lại thông tin.
- Trong các nhiệm vụ chủ quan, sự bất đồng có hệ thống thường là tín hiệu.
- Sự đồng thuận nên được báo cáo theo từng phần và từng người chú thích.
- Các biện pháp điều chỉnh theo cơ hội quan trọng khi phân phối lớp bị lệch.
Bạn đang lên kế hoạch cho dự án tương tự?
Chúng tôi muốn trao đổi về vấn đề hơn là báo giá theo khối lượng.
Xem năng lựcTại sao một con số không đủ?
Vì các tập dữ liệu không đồng nhất. Sự đồng thuận 0.85 tổng thể có thể chứa một phần ở mức 0.4 mà tình cờ là phần bạn thực sự quan tâm, và không có gì trong con số tiêu đề cho bạn biết điều đó.
Đây là cách phổ biến nhất mà một tập dữ liệu vượt qua sự chấp nhận và sau đó thất bại trong quá trình huấn luyện. Hãy yêu cầu phân tích trước khi bạn chấp nhận, không phải sau đó.
Khi nào sự bất đồng thực sự là câu trả lời?
Trong các đánh giá thực sự chủ quan. Nếu một nửa số người chú thích đủ điều kiện cho rằng một phản hồi là chấp nhận được và một nửa không, việc buộc một nhãn duy nhất sẽ phá hủy điều thông tin nhất trong lô dữ liệu.
Đối với công việc điều chỉnh và an toàn đặc biệt, một nhà cung cấp hoạt động tốt sẽ ghi lại sự phân chia và chuyển nó đến phân xử với dấu vết được bảo tồn, thay vì giải quyết bằng đa số và báo cáo sự đồng thuận sạch.
Bạn nên yêu cầu nhà cung cấp báo cáo điều gì?
Sự đồng thuận theo từng phần, sự đồng thuận theo từng người chú thích, và một biện pháp điều chỉnh theo cơ hội khi phân phối lớp bị lệch. Tỷ lệ phần trăm đồng thuận thô trong một nhiệm vụ mà chín mươi phần trăm mục chia sẻ một nhãn hầu như không nói lên điều gì.
Cũng hãy hỏi cách mà chính các người đánh giá được đo lường. Một nhà cung cấp đo lường người chú thích nhưng không đo lường người đánh giá có một điểm thất bại duy nhất chưa được kiểm tra nằm trên mỗi nhãn trong tập dữ liệu.
- Sự đồng thuận theo từng phần dữ liệu
- Sự đồng thuận theo từng người chú thích
- Một biện pháp điều chỉnh theo cơ hội trên các phân phối lệch
- Cách mà chính các người đánh giá được đo lường
- Cách mà các sự phân chia thực sự được ghi lại và phân xử
Câu hỏi khác
Tôi nên yêu cầu điểm số đồng thuận giữa các người chú thích là bao nhiêu?
Không có con số chung. Điều quan trọng là sự đồng thuận được phân tích theo từng phần và từng người chú thích, và liệu nhiệm vụ có phải là nơi mà sự bất đồng là tín hiệu hợp pháp thay vì lỗi hay không.
Sự đồng thuận cao có phải luôn tốt không?
Không. Sự đồng thuận cao trong một nhiệm vụ dễ không mang lại thông tin, và cũng có thể chỉ ra rằng các người chú thích đang đồng thuận với một sự hiểu sai chung về tiêu chí thay vì thực sự đồng ý.
Sự bất đồng có nên luôn được giải quyết không?
Không phải trong các nhiệm vụ chủ quan. Sự bất đồng có hệ thống giữa các người chú thích đủ điều kiện thường là thông tin hữu ích nhất trong một lô dữ liệu, và việc làm phẳng nó thành một nhãn sẽ loại bỏ nó.