JwumaValutazione multilingue, perché i test solo in inglese sono fuorvianti
· 3 min di lettura · evaluation, languages
Questa traduzione è stata prodotta automaticamente e non è stata verificata da un madrelingua. In caso di dubbio, fa fede la versione inglese. Segnalaci eventuali errori e li correggeremo. English
Il comportamento del modello non è frequentemente coerente tra le lingue, compreso il comportamento in termini di sicurezza. Un guardrail che funziona in inglese può fallire completamente in una lingua con meno risorse. Valutare traducendo un set di test in inglese non rileva questo problema, perché testa l'inglese tradotto piuttosto che come le persone scrivono effettivamente in quella lingua.
In breve
- I guardrail di sicurezza possono comportarsi diversamente tra le lingue.
- I set di test tradotti misurano l'inglese tradotto, non l'uso nativo.
- La valutazione dovrebbe essere effettuata da madrelingua della lingua target.
- L'adeguatezza culturale è separata dalla correttezza linguistica.
- Le lingue con meno risorse mostrano tipicamente i maggiori divari comportamentali.
Stai definendo un progetto simile?
Preferiamo parlare del problema piuttosto che quotare un volume.
Vedi i serviziCosa differisce effettivamente tra le lingue?
Più della fluidità. Il comportamento di rifiuto, l'uso di attenuazioni, la disponibilità a speculare e i guardrail di sicurezza sono appresi in gran parte da dati dominati dall'inglese, e il loro trasferimento ad altre lingue è irregolare e non testato.
La conseguenza pratica è che un modello certificato sicuro in una valutazione in inglese potrebbe non essere sicuro nel suo utilizzo per parlanti di un'altra lingua, e nulla nel risultato in inglese lo indica.
Perché tradurre il tuo set di test non funziona?
Perché i prompt tradotti non sono come scrivono i madrelingua. Portano con sé la sintassi e l'inquadratura inglese, quindi mettono alla prova il modello in un modo che gli utenti reali non fanno, e mancano sistematicamente le frasi che effettivamente innescano fallimenti.
Non possono nemmeno testare l'adeguatezza culturale, perché il contenuto culturale dell'originale è inglese.
Cosa richiede una buona valutazione multilingue?
Madrelingua che scrivono i prompt in modo nativo e madrelingua che giudicano l'output. Entrambe le parti sono importanti. Un prompt nativo giudicato da una traduzione è solo marginalmente migliore di nessuna valutazione.
Il giudizio dovrebbe coprire l'adeguatezza culturale separatamente dalla correttezza linguistica. Una risposta può essere grammaticalmente perfetta e localmente inappropriata, e unire le due in un unico punteggio lo nasconde.
- Prompt scritti in modo nativo, non tradotti
- Giudizio da parte di madrelingua della lingua
- Adeguatezza culturale valutata separatamente
- Comportamento di sicurezza testato per lingua, non presunto
Dove dovresti guardare prima?
La lingua con meno risorse nel tuo ambito di distribuzione, perché è lì che il divario comportamentale è maggiore e dove esiste la minore valutazione precedente.
È anche dove è più difficile trovare valutatori qualificati, motivo per cui tende ad essere rimandato e perché il divario persiste.
Altre domande
I guardrail di sicurezza AI funzionano allo stesso modo in ogni lingua?
Spesso no. I guardrail appresi in gran parte da dati dominati dall'inglese si trasferiscono in modo irregolare, e un guardrail che funziona in inglese può fallire in una lingua con meno risorse.
Posso valutare un modello traducendo il mio set di test in inglese?
Non in modo affidabile. I prompt tradotti portano con sé la sintassi e l'inquadratura inglese, quindi mettono alla prova il modello in modo diverso dall'uso nativo reale e mancano le frasi che effettivamente causano fallimenti.
Chi dovrebbe giudicare l'output di un modello multilingue?
Madrelingua della lingua target, giudicando l'adeguatezza culturale separatamente dalla correttezza linguistica in modo che una risposta fluente ma localmente inappropriata non sia valutata come corretta.