JwumaOcena wielojęzyczna, dlaczego testy tylko w języku angielskim wprowadzają w błąd
· 2 min czytania · evaluation, languages
To tłumaczenie zostało wykonane maszynowo i nie zostało sprawdzone przez native speakera. W razie wątpliwości obowiązuje wersja angielska. Napisz nam, jeśli coś brzmi błędnie, a poprawimy. English
Zachowanie modelu często nie jest spójne w różnych językach, w tym zachowanie w zakresie bezpieczeństwa. Zabezpieczenie, które działa w języku angielskim, może całkowicie zawieść w języku o mniejszych zasobach. Ocena poprzez tłumaczenie zestawu testowego z języka angielskiego tego nie wykrywa, ponieważ testuje przetłumaczony angielski, a nie to, jak ludzie faktycznie piszą w tym języku.
W skrócie
- Zabezpieczenia mogą działać inaczej w różnych językach.
- Przetłumaczone zestawy testowe mierzą przetłumaczony angielski, a nie rodzimą użyteczność.
- Ocena powinna być przeprowadzana przez rodzimych użytkowników docelowego języka.
- Odpowiedniość kulturowa jest oddzielna od poprawności językowej.
- Języki o mniejszych zasobach zazwyczaj wykazują największe różnice w zachowaniu.
Planujesz podobny projekt?
Wolimy rozmawiać o problemie niż wyceniać sam wolumen.
Zobacz nasze możliwościCo faktycznie różni się między językami?
Więcej niż płynność. Zachowanie odmowy, unikanie, gotowość do spekulacji i zabezpieczenia są w dużej mierze nauczane z danych zdominowanych przez język angielski, a ich przeniesienie na inne języki jest nierówne i nieprzetestowane.
Praktycznym skutkiem jest to, że model certyfikowany jako bezpieczny na podstawie oceny w języku angielskim może nie być bezpieczny w użyciu dla użytkowników innego języka, a nic w wynikach angielskich tego nie wskazuje.
Dlaczego tłumaczenie zestawu testowego nie działa?
Ponieważ przetłumaczone polecenia nie są tym, jak piszą rodzimi użytkownicy. Niosą ze sobą składnię i ramy angielskie, więc testują model w sposób, w jaki prawdziwi użytkownicy tego nie robią, i systematycznie pomijają sformułowania, które faktycznie wywołują błędy.
Nie mogą również testować odpowiedniości kulturowej, ponieważ treść kulturowa oryginału jest angielska.
Czego wymaga dobra ocena wielojęzyczna?
Rodzimi użytkownicy piszący polecenia w swoim języku i rodzimi użytkownicy oceniający wyniki. Obie części są ważne. Rodzime polecenie oceniane przez tłumaczenie jest tylko nieznacznie lepsze niż brak oceny.
Ocena powinna obejmować odpowiedniość kulturową oddzielnie od poprawności językowej. Odpowiedź może być gramatycznie poprawna, ale lokalnie nieodpowiednia, a połączenie obu w jedną ocenę to ukrywa.
- Polecenia pisane w języku ojczystym, nie tłumaczone
- Ocena przez rodzimych użytkowników języka
- Odpowiedniość kulturowa oceniana oddzielnie
- Zachowanie w zakresie bezpieczeństwa testowane dla każdego języka, nie zakładane
Gdzie należy szukać najpierw?
Język o najmniejszych zasobach w obszarze wdrożenia, ponieważ tam różnica w zachowaniu jest największa i tam istnieje najmniej wcześniejszych ocen.
To także miejsce, gdzie najtrudniej znaleźć wykwalifikowanych oceniających, dlatego często jest to odkładane na później, a różnica się utrzymuje.
Inne pytania
Czy zabezpieczenia AI działają tak samo w każdym języku?
Często nie. Zabezpieczenia nauczane w dużej mierze z danych zdominowanych przez język angielski przenoszą się nierówno, a zabezpieczenie, które działa w języku angielskim, może zawieść w języku o mniejszych zasobach.
Czy mogę ocenić model, tłumacząc mój angielski zestaw testowy?
Niezbyt wiarygodnie. Przetłumaczone polecenia niosą ze sobą składnię i ramy angielskie, więc testują model inaczej niż rzeczywiste użycie przez rodzimych użytkowników i pomijają sformułowania, które faktycznie powodują błędy.
Kto powinien oceniać wyniki modelu wielojęzycznego?
Rodzimi użytkownicy docelowego języka, oceniający odpowiedniość kulturową oddzielnie od poprawności językowej, aby płynna, ale lokalnie nieodpowiednia odpowiedź nie była oceniana jako poprawna.