Đánh giá đa ngôn ngữ, tại sao kiểm tra chỉ bằng tiếng Anh gây hiểu lầm

Điều gì thực sự khác biệt giữa các ngôn ngữ?

Hơn cả sự lưu loát. Hành vi từ chối, sự do dự, sẵn sàng suy đoán và biện pháp bảo vệ an toàn đều được học chủ yếu từ dữ liệu chiếm ưu thế tiếng Anh, và việc chuyển giao chúng sang các ngôn ngữ khác là không đồng đều và chưa được kiểm tra.

Hậu quả thực tế là một mô hình được chứng nhận an toàn qua đánh giá tiếng Anh có thể không an toàn khi triển khai cho người nói ngôn ngữ khác, và không có gì trong kết quả tiếng Anh chỉ ra điều này.

Tại sao dịch bộ kiểm tra của bạn không hiệu quả?

Vì các gợi ý đã dịch không phải cách người bản ngữ viết. Chúng mang cú pháp và cách diễn đạt của tiếng Anh, vì vậy chúng kiểm tra mô hình theo cách mà người dùng thực sự không làm, và chúng bỏ lỡ các cách diễn đạt thực sự gây ra lỗi.

Chúng cũng không thể kiểm tra sự phù hợp văn hóa, vì nội dung văn hóa của bản gốc là tiếng Anh.

Đánh giá đa ngôn ngữ tốt yêu cầu gì?

Người bản ngữ viết gợi ý một cách tự nhiên, và người bản ngữ đánh giá đầu ra. Cả hai phần đều quan trọng. Một gợi ý bản ngữ được đánh giá bằng bản dịch chỉ tốt hơn một chút so với không đánh giá.

Đánh giá nên bao gồm sự phù hợp văn hóa riêng biệt với độ chính xác ngôn ngữ. Một câu trả lời có thể hoàn hảo về ngữ pháp nhưng không phù hợp với địa phương, và việc gộp hai yếu tố này vào một điểm số sẽ che giấu điều đó.

• Gợi ý được viết tự nhiên, không dịch
• Đánh giá bởi người bản ngữ của ngôn ngữ đó
• Sự phù hợp văn hóa được chấm điểm riêng
• Hành vi an toàn được kiểm tra theo từng ngôn ngữ, không được giả định

Bạn nên tìm kiếm ở đâu trước tiên?

Ngôn ngữ có ít tài nguyên nhất trong phạm vi triển khai của bạn, vì đó là nơi khoảng cách hành vi lớn nhất và nơi có ít đánh giá trước đó nhất.

Đó cũng là nơi khó tìm người đánh giá có trình độ nhất, đó là lý do tại sao điều này thường bị trì hoãn và khoảng cách vẫn tồn tại.

Các biện pháp bảo vệ an toàn AI có hoạt động giống nhau trong mọi ngôn ngữ không?

Thường không. Các biện pháp bảo vệ học chủ yếu từ dữ liệu chiếm ưu thế tiếng Anh chuyển giao không đồng đều, và một biện pháp bảo vệ hiệu quả trong tiếng Anh có thể thất bại trong một ngôn ngữ có ít tài nguyên hơn.

Tôi có thể đánh giá một mô hình bằng cách dịch bộ kiểm tra tiếng Anh của mình không?

Không đáng tin cậy. Các gợi ý đã dịch mang cú pháp và cách diễn đạt của tiếng Anh, vì vậy chúng kiểm tra mô hình khác với cách sử dụng bản ngữ thực sự và bỏ lỡ các cách diễn đạt thực sự gây ra lỗi.

Ai nên đánh giá đầu ra của mô hình đa ngôn ngữ?

Người bản ngữ của ngôn ngữ mục tiêu, đánh giá sự phù hợp văn hóa riêng biệt với độ chính xác ngôn ngữ để một câu trả lời lưu loát nhưng không phù hợp với địa phương không được chấm điểm là đúng.