JwumaMeertalige evaluatie, waarom testen in alleen Engels misleidend is
· 2 min leestijd · evaluation, languages
Deze vertaling is machinaal gemaakt en niet gecontroleerd door een moedertaalspreker. Bij twijfel geldt de Engelse versie. Laat het ons weten als iets niet klopt, dan corrigeren wij het. English
Modelgedrag is vaak niet consistent tussen talen, inclusief veiligheidsgedrag. Een veiligheidsmaatregel die in het Engels werkt, kan volledig falen in een taal met minder middelen. Evalueren door een Engelse testset te vertalen detecteert dit niet, omdat het vertaald Engels test in plaats van hoe mensen daadwerkelijk in die taal schrijven.
Kort samengevat
- Veiligheidsmaatregelen kunnen anders werken tussen talen.
- Vertaalde testsets meten vertaald Engels, niet het gebruik door moedertaalsprekers.
- Evaluatie moet worden gedaan door moedertaalsprekers van de doeltaal.
- Culturele geschiktheid is iets anders dan taalkundige correctheid.
- Talen met minder middelen vertonen doorgaans de grootste gedragsverschillen.
Bent u zoiets aan het uitwerken?
Wij bespreken liever het probleem dan een offerte op volume.
Bekijk onze dienstenWat verschilt er eigenlijk tussen talen?
Meer dan alleen vloeiendheid. Weigergedrag, nuancering, bereidheid tot speculatie en veiligheidsmaatregelen worden grotendeels geleerd van Engels-dominante data, en hun overdracht naar andere talen is ongelijk en niet getest.
Het praktische gevolg is dat een model dat als veilig is gecertificeerd op een Engelse evaluatie mogelijk niet veilig is in gebruik voor sprekers van een andere taal, en niets in het Engelse resultaat wijst hierop.
Waarom werkt het vertalen van je testset niet?
Omdat vertaalde prompts niet zijn hoe moedertaalsprekers schrijven. Ze dragen Engelse syntaxis en framing, waardoor ze het model op een manier testen die echte gebruikers niet doen, en ze missen systematisch de formuleringen die daadwerkelijk tot fouten leiden.
Ze kunnen ook culturele geschiktheid helemaal niet testen, omdat de culturele inhoud van het origineel Engels is.
Wat vereist een goede meertalige evaluatie?
Moedertaalsprekers die prompts in hun eigen taal schrijven, en moedertaalsprekers die de output beoordelen. Beide helften zijn belangrijk. Een native prompt beoordeeld door een vertaling is slechts marginaal beter dan geen evaluatie.
Beoordeling moet culturele geschiktheid apart van taalkundige correctheid dekken. Een antwoord kan grammaticaal perfect en lokaal ongepast zijn, en het samenvoegen van de twee in één score verbergt dit.
- Prompts in de moedertaal geschreven, niet vertaald
- Beoordeling door moedertaalsprekers van de taal
- Culturele geschiktheid apart gescoord
- Veiligheidsgedrag per taal getest, niet aangenomen
Waar moet je eerst kijken?
De taal met de minste middelen binnen je implementatiegebied, omdat daar de gedragskloof het grootst is en waar de minste eerdere evaluatie bestaat.
Het is ook waar het vinden van gekwalificeerde beoordelaars het moeilijkst is, wat de reden is waarom dit vaak wordt uitgesteld en waarom de kloof blijft bestaan.
Andere vragen
Werken AI-veiligheidsmaatregelen hetzelfde in elke taal?
Vaak niet. Maatregelen die grotendeels van Engels-dominante data zijn geleerd, worden ongelijk overgedragen, en een maatregel die in het Engels werkt, kan falen in een taal met minder middelen.
Kan ik een model evalueren door mijn Engelse testset te vertalen?
Niet betrouwbaar. Vertaalde prompts dragen Engelse syntaxis en framing, waardoor ze het model anders testen dan echt gebruik door moedertaalsprekers en de formuleringen missen die daadwerkelijk tot fouten leiden.
Wie moet de output van een meertalig model beoordelen?
Moedertaalsprekers van de doeltaal, die culturele geschiktheid apart van taalkundige correctheid beoordelen zodat een vloeiend maar lokaal ongepast antwoord niet als correct wordt beoordeeld.