JwumaEvaluación multilingüe, por qué las pruebas solo en inglés son engañosas
· 3 min de lectura · evaluation, languages
Esta traducción fue generada por una máquina y no ha sido revisada por un hablante nativo. Ante cualquier duda, la versión en inglés es la original. Avísanos si algo está mal y lo corregiremos. English
El comportamiento del modelo frecuentemente no es consistente entre idiomas, incluyendo el comportamiento de seguridad. Un mecanismo de seguridad que funciona en inglés puede fallar completamente en un idioma con menos recursos. Evaluar traduciendo un conjunto de pruebas en inglés no detecta esto, porque prueba inglés traducido en lugar de cómo las personas realmente escriben en ese idioma.
En resumen
- Los mecanismos de seguridad pueden comportarse de manera diferente entre idiomas.
- Los conjuntos de pruebas traducidos miden inglés traducido, no el uso nativo.
- La evaluación debe ser realizada por hablantes nativos del idioma objetivo.
- La adecuación cultural es independiente de la corrección lingüística.
- Los idiomas con menos recursos suelen mostrar las mayores brechas de comportamiento.
¿Estás definiendo algo así?
Preferimos hablar del problema antes que cotizar por volumen.
Ver capacidades¿Qué realmente difiere entre idiomas?
Más que la fluidez. El comportamiento de rechazo, la cautela, la disposición a especular y los mecanismos de seguridad se aprenden en gran medida de datos dominados por el inglés, y su transferencia a otros idiomas es desigual y no probada.
La consecuencia práctica es que un modelo certificado como seguro en una evaluación en inglés puede no ser seguro en su implementación para hablantes de otro idioma, y nada en el resultado en inglés indica esto.
¿Por qué no funciona traducir tu conjunto de pruebas?
Porque los estímulos traducidos no son como escriben los hablantes nativos. Llevan la sintaxis y el encuadre del inglés, por lo que ejercitan el modelo de una manera que los usuarios reales no lo hacen, y sistemáticamente omiten las frases que realmente desencadenan fallos.
Tampoco pueden probar la adecuación cultural en absoluto, porque el contenido cultural del original es inglés.
¿Qué requiere una buena evaluación multilingüe?
Hablantes nativos escribiendo estímulos de manera nativa, y hablantes nativos juzgando la salida. Ambas partes son importantes. Un estímulo nativo juzgado por una traducción es solo marginalmente mejor que ninguna evaluación.
El juicio debe cubrir la adecuación cultural por separado de la corrección lingüística. Una respuesta puede ser gramaticalmente perfecta y localmente inapropiada, y colapsar las dos en una sola puntuación lo oculta.
- Estímulos escritos de manera nativa, no traducidos
- Juicio por hablantes nativos del idioma
- Adecuación cultural evaluada por separado
- Comportamiento de seguridad probado por idioma, no asumido
¿Dónde deberías mirar primero?
El idioma con menos recursos en tu área de implementación, porque ahí es donde la brecha de comportamiento es mayor y donde existe menos evaluación previa.
También es donde encontrar evaluadores calificados es más difícil, por lo que esto tiende a posponerse y por eso la brecha persiste.
También preguntan
¿Funcionan los mecanismos de seguridad de IA igual en todos los idiomas?
A menudo no. Los mecanismos de seguridad aprendidos en gran medida de datos dominados por el inglés se transfieren de manera desigual, y un mecanismo que funciona en inglés puede fallar en un idioma con menos recursos.
¿Puedo evaluar un modelo traduciendo mi conjunto de pruebas en inglés?
No de manera confiable. Los estímulos traducidos llevan la sintaxis y el encuadre del inglés, por lo que ejercitan el modelo de manera diferente al uso nativo real y omiten las frases que realmente causan fallos.
¿Quién debería juzgar la salida de un modelo multilingüe?
Hablantes nativos del idioma objetivo, juzgando la adecuación cultural por separado de la corrección lingüística para que una respuesta fluida pero localmente inapropiada no se califique como correcta.