多言語評価、なぜ英語のみのテストは誤解を招くのか

言語間で実際に何が異なるのか？

流暢さ以上のものです。拒否行動、曖昧さ、推測する意欲、安全性のガードレールは、主に英語優勢のデータから学習されており、他の言語への移行は不均一で未検証です。

その実際的な結果として、英語の評価で安全と認定されたモデルが、他の言語の話者に対しては安全でない可能性があり、英語の結果にはそれを示すものがありません。

なぜテストセットを翻訳するだけではうまくいかないのか？

翻訳されたプロンプトはネイティブスピーカーの書き方ではないからです。それらは英語の構文とフレーミングを持ち、実際のユーザーが行う方法とは異なる方法でモデルを試し、実際に失敗を引き起こす表現を体系的に見逃します。

また、文化的適切性を全くテストできません。なぜなら、元の文化的内容は英語だからです。

良い多言語評価には何が必要か？

ネイティブスピーカーがネイティブにプロンプトを書き、ネイティブスピーカーが出力を評価することです。両方が重要です。ネイティブのプロンプトを翻訳で評価するのは、評価しないのとほとんど変わりません。

評価は言語的正確さとは別に文化的適切性をカバーするべきです。文法的に完璧でも、地元では不適切な回答があり、それを一つのスコアにまとめると隠れてしまいます。

• 翻訳されていないネイティブに書かれたプロンプト
• その言語のネイティブスピーカーによる評価
• 文化的適切性を別に評価
• 言語ごとに安全性の挙動をテストし、仮定しない

まずどこを見ればいいのか？

展開範囲内で最もリソースの少ない言語です。なぜなら、そこが行動のギャップが最も大きく、事前の評価が最も少ないからです。

また、資格のある評価者を見つけるのが最も難しい場所でもあり、これが後回しにされ、ギャップが残る理由です。

AIの安全性ガードレールはすべての言語で同じように機能するのか？

そうでないことが多いです。主に英語優勢のデータから学習されたガードレールは不均一に移行し、英語で有効なガードレールがリソースの少ない言語では機能しないことがあります。

英語のテストセットを翻訳してモデルを評価できるか？

信頼性は低いです。翻訳されたプロンプトは英語の構文とフレーミングを持ち、実際のネイティブの使用法とは異なる方法でモデルを試し、実際に失敗を引き起こす表現を見逃します。

多言語モデルの出力を誰が評価すべきか？

ターゲット言語のネイティブスピーカーが、言語的正確さとは別に文化的適切性を評価し、流暢でも地元では不適切な回答が正しいと評価されないようにします。