JwumaAvaliação multilingue, por que testes apenas em inglês são enganosos
· 3 min de leitura · evaluation, languages
Esta tradução foi produzida por máquina e não foi verificada por um falante nativo. Em caso de dúvida, a versão em inglês é a original. Diga-nos se algo estiver errado e corrigiremos. English
O comportamento do modelo frequentemente não é consistente entre idiomas, incluindo o comportamento de segurança. Um mecanismo de segurança que funciona em inglês pode falhar completamente em um idioma com menos recursos. Avaliar traduzindo um conjunto de testes em inglês não detecta isso, pois testa o inglês traduzido em vez de como as pessoas realmente escrevem nesse idioma.
Em resumo
- Os mecanismos de segurança podem se comportar de maneira diferente entre idiomas.
- Conjuntos de testes traduzidos medem o inglês traduzido, não o uso nativo.
- A avaliação deve ser feita por falantes nativos do idioma alvo.
- A adequação cultural é separada da correção linguística.
- Idiomas com menos recursos geralmente mostram as maiores lacunas comportamentais.
Está a definir algo assim?
Preferimos falar do problema em vez de orçamentar por volume.
Ver capacidadesO que realmente difere entre idiomas?
Mais do que fluência. Comportamento de recusa, hesitação, disposição para especular e mecanismos de segurança são aprendidos em grande parte a partir de dados dominados pelo inglês, e sua transferência para outros idiomas é desigual e não testada.
A consequência prática é que um modelo certificado como seguro em uma avaliação em inglês pode não ser seguro em implantação para falantes de outro idioma, e nada no resultado em inglês indica isso.
Por que traduzir seu conjunto de testes não funciona?
Porque prompts traduzidos não são como os falantes nativos escrevem. Eles carregam a sintaxe e a estrutura do inglês, exercitando o modelo de uma forma que os usuários reais não fazem, e sistematicamente perdem as formulações que realmente desencadeiam falhas.
Eles também não podem testar a adequação cultural, pois o conteúdo cultural do original é inglês.
O que uma boa avaliação multilingue requer?
Falantes nativos escrevendo prompts de forma nativa e falantes nativos julgando a saída. Ambas as partes são importantes. Um prompt nativo julgado por uma tradução é apenas marginalmente melhor do que nenhuma avaliação.
O julgamento deve cobrir a adequação cultural separadamente da correção linguística. Uma resposta pode ser gramaticalmente perfeita e localmente inadequada, e colapsar os dois em uma única pontuação esconde isso.
- Prompts escritos de forma nativa, não traduzidos
- Julgamento por falantes nativos do idioma
- Adequação cultural avaliada separadamente
- Comportamento de segurança testado por idioma, não presumido
Onde você deve olhar primeiro?
O idioma com menos recursos no seu escopo de implantação, pois é onde a lacuna comportamental é maior e onde existe menos avaliação prévia.
É também onde encontrar avaliadores qualificados é mais difícil, razão pela qual isso tende a ser adiado e por que a lacuna persiste.
Outras perguntas
Os mecanismos de segurança de IA funcionam da mesma forma em todos os idiomas?
Frequentemente não. Mecanismos de segurança aprendidos em grande parte a partir de dados dominados pelo inglês transferem-se de forma desigual, e um mecanismo que funciona em inglês pode falhar em um idioma com menos recursos.
Posso avaliar um modelo traduzindo meu conjunto de testes em inglês?
Não de forma confiável. Prompts traduzidos carregam a sintaxe e a estrutura do inglês, exercitando o modelo de forma diferente do uso nativo real e perdendo as formulações que realmente causam falhas.
Quem deve julgar a saída de modelos multilingues?
Falantes nativos do idioma alvo, julgando a adequação cultural separadamente da correção linguística para que uma resposta fluente mas localmente inadequada não seja avaliada como correta.