다국어 평가, 영어 전용 테스트가 오도하는 이유

언어 간에 실제로 무엇이 다른가요?

유창성 이상의 문제입니다. 거부 행동, 완곡 표현, 추측하려는 의지 및 안전 장치는 주로 영어 중심 데이터에서 학습되며, 다른 언어로의 전이는 고르지 않고 테스트되지 않았습니다.

실질적인 결과는 영어 평가에서 안전하다고 인증된 모델이 다른 언어 사용자에게 배포될 때 안전하지 않을 수 있으며, 영어 결과에서는 이를 나타내지 않는다는 것입니다.

테스트 세트를 번역하는 것이 왜 효과가 없나요?

번역된 프롬프트는 원어민이 작성하는 방식이 아니기 때문입니다. 이들은 영어의 구문과 틀을 가지고 있어 실제 사용자가 사용하는 방식과 다르게 모델을 작동시키며, 실제로 실패를 유발하는 표현을 체계적으로 놓칩니다.

또한, 문화적 적합성을 전혀 테스트할 수 없습니다. 원본의 문화적 내용이 영어이기 때문입니다.

좋은 다국어 평가에 필요한 것은 무엇인가요?

원어민이 원어로 프롬프트를 작성하고, 원어민이 출력을 평가하는 것입니다. 두 부분 모두 중요합니다. 원어 프롬프트를 번역으로 평가하는 것은 평가를 하지 않는 것보다 약간 나을 뿐입니다.

평가는 언어적 정확성과 별개로 문화적 적합성을 다루어야 합니다. 문법적으로 완벽하지만 현지에서 부적절한 답변은 숨겨질 수 있습니다.

• 번역되지 않은 원어로 작성된 프롬프트
• 언어의 원어민에 의한 평가
• 문화적 적합성을 별도로 평가
• 언어별로 테스트된 안전 행동, 가정하지 않음

어디서부터 시작해야 하나요?

배포 범위 내에서 자원이 가장 적은 언어입니다. 이는 행동 차이가 가장 크고, 이전 평가가 가장 적은 곳이기 때문입니다.

자격을 갖춘 평가자를 찾기가 가장 어려운 곳이기도 하며, 이 때문에 종종 연기되고 차이가 지속됩니다.

AI 안전 장치는 모든 언어에서 동일하게 작동하나요?

종종 그렇지 않습니다. 주로 영어 중심 데이터에서 학습된 안전 장치는 고르지 않게 전이되며, 영어에서 유효한 안전 장치가 자원이 적은 언어에서는 실패할 수 있습니다.

영어 테스트 세트를 번역하여 모델을 평가할 수 있나요?

신뢰할 수 없습니다. 번역된 프롬프트는 영어의 구문과 틀을 가지고 있어 실제 원어 사용과 다르게 모델을 작동시키며, 실제로 실패를 유발하는 표현을 놓칩니다.

다국어 모델 출력을 누가 평가해야 하나요?

대상 언어의 원어민이 평가해야 하며, 유창하지만 현지에서 부적절한 답변이 올바르게 평가되지 않도록 문화적 적합성을 언어적 정확성과 별도로 평가해야 합니다.