JwumaÉvaluation multilingue, pourquoi les tests en anglais seulement induisent en erreur
· 3 min de lecture · evaluation, languages
Cette traduction a été produite par une machine et n'a pas été vérifiée par un locuteur natif. En cas de doute, la version anglaise fait foi. Signalez-nous toute erreur et nous la corrigerons. English
Le comportement du modèle n'est souvent pas cohérent d'une langue à l'autre, y compris le comportement en matière de sécurité. Une garde-fou qui fonctionne en anglais peut échouer complètement dans une langue moins répandue. Évaluer en traduisant un ensemble de tests en anglais ne détecte pas cela, car cela teste l'anglais traduit plutôt que la façon dont les gens écrivent réellement dans cette langue.
En bref
- Les garde-fous de sécurité peuvent se comporter différemment selon les langues.
- Les ensembles de tests traduits mesurent l'anglais traduit, pas l'usage natif.
- L'évaluation doit être faite par des locuteurs natifs de la langue cible.
- L'adéquation culturelle est distincte de la correction linguistique.
- Les langues moins répandues montrent généralement les plus grands écarts comportementaux.
Un projet de ce type à cadrer ?
Nous préférons parler du problème plutôt que chiffrer un volume.
Voir nos prestationsQu'est-ce qui diffère réellement entre les langues ?
Plus que la fluidité. Le comportement de refus, la prudence, la volonté de spéculer et les garde-fous de sécurité sont en grande partie appris à partir de données dominées par l'anglais, et leur transfert vers d'autres langues est inégal et non testé.
La conséquence pratique est qu'un modèle certifié sûr lors d'une évaluation en anglais peut ne pas être sûr lors de son déploiement pour les locuteurs d'une autre langue, et rien dans le résultat en anglais n'indique cela.
Pourquoi la traduction de votre ensemble de tests ne fonctionne-t-elle pas ?
Parce que les invites traduites ne sont pas la façon dont les locuteurs natifs écrivent. Elles portent la syntaxe et le cadrage anglais, donc elles exercent le modèle d'une manière que les utilisateurs réels ne font pas, et elles manquent systématiquement les formulations qui déclenchent réellement des échecs.
Elles ne peuvent pas non plus tester l'adéquation culturelle, car le contenu culturel de l'original est anglais.
Que nécessite une bonne évaluation multilingue ?
Des locuteurs natifs écrivant des invites de manière native, et des locuteurs natifs jugeant la sortie. Les deux moitiés sont importantes. Une invite native jugée par une traduction est à peine meilleure qu'aucune évaluation.
Le jugement doit couvrir l'adéquation culturelle séparément de la correction linguistique. Une réponse peut être grammaticalement parfaite et localement inappropriée, et fusionner les deux en un seul score le cache.
- Invites écrites de manière native, non traduites
- Jugement par des locuteurs natifs de la langue
- Adéquation culturelle évaluée séparément
- Comportement de sécurité testé par langue, non supposé
Où devriez-vous regarder en premier ?
La langue la moins répandue dans votre zone de déploiement, car c'est là que l'écart comportemental est le plus grand et où il y a le moins d'évaluations préalables.
C'est aussi là qu'il est le plus difficile de trouver des évaluateurs qualifiés, c'est pourquoi cela a tendance à être reporté et pourquoi l'écart persiste.
Autres questions
Les garde-fous de sécurité de l'IA fonctionnent-ils de la même manière dans toutes les langues ?
Souvent non. Les garde-fous appris en grande partie à partir de données dominées par l'anglais se transfèrent de manière inégale, et un garde-fou qui fonctionne en anglais peut échouer dans une langue moins répandue.
Puis-je évaluer un modèle en traduisant mon ensemble de tests en anglais ?
Pas de manière fiable. Les invites traduites portent la syntaxe et le cadrage anglais, donc elles exercent le modèle différemment de l'usage natif réel et manquent les formulations qui causent réellement des échecs.
Qui devrait juger la sortie d'un modèle multilingue ?
Des locuteurs natifs de la langue cible, jugeant l'adéquation culturelle séparément de la correction linguistique afin qu'une réponse fluide mais localement inappropriée ne soit pas notée comme correcte.