Dữ liệu sở thích RLHF, cách chỉ định để có giá trị

Tại sao cần nhấn mạnh lý do viết?

Vì một sở thích tự nó gần như không có thông tin. Mười người chú thích thích phản hồi B cho mô hình biết rằng B tốt hơn theo cách nào đó không xác định. Mười người chú thích thích B vì nó từ chối suy đoán về liều lượng thuốc là một bài học có thể tổng quát hóa.

Nó cũng làm cho chất lượng có thể kiểm tra được. Một xếp hạng không thể được kiểm toán; một lý do có thể được đọc, và một lý do chỉ lặp lại xếp hạng bằng từ ngữ khác là rõ ràng rỗng tuếch.

Hiệu chuẩn bao gồm những gì?

Chạy người chú thích qua một tập hợp các mục với các đánh giá đúng đã biết theo tiêu chí, trước khi họ xử lý dữ liệu sản xuất, và sửa chữa các hiểu sai xuất hiện.

Bỏ qua điều này là một sự tiết kiệm sai lầm xuất hiện hai tuần sau đó dưới dạng điểm đồng thuận không sử dụng được. Các hiểu sai luôn tồn tại; hiệu chuẩn xác định liệu bạn có tìm thấy chúng trước hay sau khi trả tiền cho lô hàng.

Sự bất đồng nên được xử lý như thế nào?

Được ghi lại. Đặc biệt trong công việc điều chỉnh, một sự chia rẽ thực sự giữa những người chú thích đã được hiệu chuẩn là một phát hiện về lời nhắc, không phải là một lỗi cần được làm mịn.

Hỏi nhà cung cấp của bạn họ làm gì với các sự chia rẽ. Giải quyết bằng đa số và báo cáo đồng thuận sạch là phổ biến và nó phá hủy các hàng có giá trị nhất trong tập dữ liệu.

QA nên thực sự từ chối điều gì?

Lý do lặp lại xếp hạng, lý do trích dẫn tiêu chí không có trong tiêu chí, và xếp hạng không nhất quán với lý do kèm theo. Điều cuối cùng này phổ biến hơn bạn nghĩ và không thể thấy được với bất kỳ kiểm tra nào chỉ nhìn vào xếp hạng.

Đáng để chỉ định rõ ràng các tiêu chí từ chối này thay vì giả định rằng nhà cung cấp áp dụng chúng.

Dữ liệu sở thích RLHF là gì?

Đánh giá của con người về việc đầu ra của mô hình nào trong hai hoặc nhiều hơn là tốt hơn, được sử dụng để huấn luyện mô hình theo hướng hành vi ưa thích. Dữ liệu sở thích hữu ích bao gồm lý do viết cho mỗi đánh giá.

Tại sao lý do viết lại quan trọng trong RLHF?

Vì một xếp hạng trần gần như không mang lại tín hiệu. Lý do một phản hồi được ưa thích là điều có thể tổng quát hóa, và nó cũng là phần duy nhất của đánh giá có thể được kiểm toán.

Người chú thích có nên được hiệu chuẩn trước khi làm việc RLHF sản xuất không?

Có. Hiệu chuẩn theo tiêu chí cố định làm nổi bật các hiểu sai trước khi bạn trả tiền cho một lô hàng thay vì sau đó, và nó là yếu tố chính quyết định liệu điểm đồng thuận có sử dụng được hay không.