JwumaÇok dilli değerlendirme, neden yalnızca İngilizce test yanıltıcıdır
· 2 dk okuma · evaluation, languages
Bu çeviri makine tarafından üretilmiştir ve ana dili konuşan biri tarafından kontrol edilmemiştir. Tereddüt halinde İngilizce sürüm esastır. Yanlış görünen bir şey varsa bize bildirin, düzeltelim. English
Model davranışı, güvenlik davranışı dahil olmak üzere, diller arasında sıklıkla tutarlı değildir. İngilizce'de geçerli olan bir güvenlik önlemi, daha az kaynaklı bir dilde tamamen başarısız olabilir. İngilizce bir test setini çevirerek değerlendirmek bunu tespit etmez, çünkü bu, insanların o dilde aslında nasıl yazdığını değil, çevrilmiş İngilizceyi test eder.
Kısaca
- Güvenlik önlemleri diller arasında farklı davranabilir.
- Çevrilmiş test setleri, yerel kullanımı değil çevrilmiş İngilizceyi ölçer.
- Değerlendirme, hedef dilin ana dili konuşanları tarafından yapılmalıdır.
- Kültürel uygunluk, dilbilgisel doğruluktan ayrıdır.
- Daha az kaynaklı diller genellikle en büyük davranışsal boşlukları gösterir.
Benzer bir proje mi planlıyorsunuz?
Hacim üzerinden fiyat vermek yerine sorunu konuşmayı tercih ederiz.
Hizmetleri görünDiller arasında gerçekte ne farklıdır?
Akıcılıktan daha fazlası. Reddetme davranışı, tereddüt, spekülasyon yapma isteği ve güvenlik önlemleri büyük ölçüde İngilizce ağırlıklı verilerden öğrenilir ve diğer dillere aktarımı düzensiz ve test edilmemiştir.
Pratik sonuç, İngilizce değerlendirmede güvenli olduğu onaylanan bir modelin, başka bir dilin konuşanları için dağıtımda güvenli olmayabileceğidir ve İngilizce sonuçta bunu gösteren hiçbir şey yoktur.
Test setinizi çevirmek neden işe yaramaz?
Çünkü çevrilmiş istemler, ana dili konuşanların yazdığı gibi değildir. İngilizce sözdizimi ve çerçevesini taşırlar, bu yüzden modeli gerçek kullanıcıların yapmadığı bir şekilde çalıştırırlar ve aslında hataları tetikleyen ifadeleri sistematik olarak kaçırırlar.
Ayrıca, orijinalin kültürel içeriği İngilizce olduğu için kültürel uygunluğu hiç test edemezler.
İyi bir çok dilli değerlendirme ne gerektirir?
Ana dili konuşanların doğal olarak yazdığı istemler ve ana dili konuşanların çıktıyı değerlendirmesi. Her iki yarı da önemlidir. Çeviri ile değerlendirilen bir ana dil istemi, değerlendirme yapmamaktan sadece biraz daha iyidir.
Değerlendirme, kültürel uygunluğu dilbilgisel doğruluktan ayrı olarak kapsamalıdır. Bir cevap dilbilgisel olarak mükemmel ve yerel olarak uygunsuz olabilir ve ikisini tek bir puana indirgemek bunu gizler.
- Çevrilmemiş, doğal olarak yazılmış istemler
- Dilin ana dili konuşanları tarafından değerlendirme
- Kültürel uygunluğun ayrı olarak puanlanması
- Güvenlik davranışının her dil için test edilmesi, varsayılmaması
Önce nereye bakmalısınız?
Dağıtım alanınızdaki en az kaynaklı dil, çünkü davranışsal boşluğun en büyük olduğu ve en az önceki değerlendirmenin bulunduğu yerdir.
Ayrıca, nitelikli değerlendiriciler bulmanın en zor olduğu yerdir, bu yüzden bu genellikle ertelenir ve boşluk devam eder.
Diğer sorular
AI güvenlik önlemleri her dilde aynı şekilde mi çalışır?
Çoğu zaman değil. Büyük ölçüde İngilizce ağırlıklı verilerden öğrenilen önlemler düzensiz bir şekilde aktarılır ve İngilizce'de geçerli olan bir önlem, daha az kaynaklı bir dilde başarısız olabilir.
İngilizce test setimi çevirerek bir modeli değerlendirebilir miyim?
Güvenilir bir şekilde değil. Çevrilmiş istemler İngilizce sözdizimi ve çerçevesini taşır, bu yüzden modeli gerçek yerel kullanımdan farklı bir şekilde çalıştırır ve aslında hatalara neden olan ifadeleri kaçırır.
Çok dilli model çıktısını kim değerlendirmeli?
Hedef dilin ana dili konuşanları, kültürel uygunluğu dilbilgisel doğruluktan ayrı olarak değerlendirerek, akıcı ama yerel olarak uygunsuz bir cevabın doğru olarak puanlanmamasını sağlar.