JwumaCách thực hiện thử nghiệm dữ liệu trước khi cam kết ngân sách thực
· 4 phút đọc · procurement, specification
Bản dịch này do máy tạo ra và chưa được người bản ngữ kiểm tra. Khi có điểm chưa rõ, bản tiếng Anh là bản gốc. Hãy cho chúng tôi biết nếu có lỗi và chúng tôi sẽ sửa. English
Thử nghiệm tồn tại để tìm ra các câu hỏi mà đặc tả của bạn không trả lời, không phải để tạo ra dữ liệu có thể sử dụng. Đánh giá nó dựa trên số lượng mơ hồ thực sự mà nó đã phát hiện và cách nhà cung cấp xử lý chúng, không phải dựa trên khối lượng dữ liệu được cung cấp. Một thử nghiệm tạo ra dữ liệu sạch và không có câu hỏi đã không cung cấp thông tin gì cho bạn.
Tóm tắt
- Kết quả chính của thử nghiệm là danh sách các khiếm khuyết trong đặc tả.
- Thử nghiệm không có mơ hồ được đánh dấu là dấu hiệu cảnh báo, không phải thành công.
- Tiêu chí chấp nhận nên được thỏa thuận trước khi thử nghiệm bắt đầu.
- Dữ liệu thử nghiệm nên được lấy mẫu theo lát cắt, không phải ngẫu nhiên.
- Cách nhà cung cấp xử lý một mục tranh chấp cung cấp thông tin nhiều hơn tỷ lệ đạt.
Bạn đang lên kế hoạch cho dự án tương tự?
Chúng tôi muốn trao đổi về vấn đề hơn là báo giá theo khối lượng.
Xem năng lựcThử nghiệm thực sự nhằm mục đích gì?
Tìm ra những gì đặc tả của bạn không nói đến. Mỗi tiêu chí đều có lỗ hổng, và thử nghiệm là nơi rẻ nhất để phát hiện chúng. Kết quả có giá trị là danh sách các trường hợp mà người chú thích không thể giải quyết từ hướng dẫn của bạn.
Đánh giá thử nghiệm dựa trên thông lượng là đảo ngược điều này. Một nhà cung cấp tối ưu hóa cho một thử nghiệm sạch sẽ giải quyết mơ hồ một cách âm thầm, điều này là hành vi bạn ít mong muốn nhất và sẽ không thấy cho đến khi sản xuất.
Tại sao thử nghiệm không có ma sát lại là dấu hiệu xấu?
Vì đặc tả của bạn không tốt đến mức đó. Không có tiêu chí đầu tiên nào là hoàn chỉnh. Nếu một thử nghiệm trở lại với sự đồng thuận cao và không có mơ hồ được đánh dấu, lời giải thích có khả năng nhất là người chú thích đã đoán một cách nhất quán hơn là hướng dẫn của bạn đã hoàn chỉnh.
Hãy yêu cầu xem các dấu hiệu. Một nhà cung cấp không thể cung cấp chúng hoặc là không thu thập hoặc đã ngăn cản việc thu thập.
Bạn nên lấy mẫu dữ liệu thử nghiệm như thế nào?
Theo lát cắt, cố ý tăng trọng số cho các phần bạn dự đoán sẽ khó. Lấy mẫu ngẫu nhiên của thử nghiệm chủ yếu mang lại lớp đa số dễ dàng, nơi không có gì sai sót.
Bao gồm một số mục mà bạn đã biết câu trả lời đúng. Các mục vàng trong thử nghiệm không tốn gì và cho bạn biết nhiều hơn bất kỳ thống kê đồng thuận nào.
- Cố ý tăng trọng số cho các lát cắt khó
- Bao gồm các mục vàng với câu trả lời đã biết
- Thỏa thuận tiêu chí chấp nhận trước khi bắt đầu
- Yêu cầu xem mọi mơ hồ được đánh dấu
- Kiểm tra quy trình tranh chấp trên một bất đồng thực tế
Bạn nên kiểm tra gì ngoài dữ liệu?
Quy trình tranh chấp. Lấy một mục mà bạn tin rằng đã được gắn nhãn sai và đẩy lùi nó một cách đúng đắn. Cách nhà cung cấp xử lý trường hợp đơn lẻ đó dự đoán sản xuất tốt hơn nhiều so với các con số tiêu đề của thử nghiệm.
Cũng kiểm tra tốc độ mà một sự làm rõ đặc tả được truyền đến người chú thích, vì trong sản xuất độ trễ đó quyết định bao nhiêu công việc được thực hiện dưới hướng dẫn cũ.
Câu hỏi khác
Mục đích của thử nghiệm chú thích dữ liệu là gì?
Để tìm ra các câu hỏi mà đặc tả của bạn không trả lời. Kết quả chính là danh sách các mơ hồ, không phải là khối lượng dữ liệu hoàn thành.
Thử nghiệm không có mơ hồ được đánh dấu có phải là kết quả tốt không?
Không. Nó thường có nghĩa là người chú thích đã giải quyết mơ hồ một cách âm thầm hơn là tiêu chí của bạn đã hoàn chỉnh, và những giải quyết âm thầm đó sẽ không nhất quán trong sản xuất.
Dữ liệu thử nghiệm nên được lấy mẫu như thế nào?
Theo lát cắt, tăng trọng số cho các phần bạn dự đoán sẽ khó, với một số mục vàng mà bạn đã biết câu trả lời đúng. Lấy mẫu ngẫu nhiên chủ yếu trả về lớp đa số dễ dàng.