多语言评估：为什么仅用英语测试会产生误导

语言之间究竟有什么不同？

不仅仅是流利度。拒绝行为、模糊表达、愿意推测以及安全防护措施大多从以英语为主的数据中学习，其向其他语言的转移是不均匀且未经测试的。

实际后果是，一个在英语评估中被认证为安全的模型，可能在为其他语言使用者部署时并不安全，而英语结果中没有任何迹象表明这一点。

为什么翻译测试集不起作用？

因为翻译的提示不是母语者的写作方式。它们带有英语的句法和框架，因此以一种真实用户不会使用的方式测试模型，并系统性地遗漏了实际触发失败的措辞。

它们也无法测试文化适应性，因为原始的文化内容是英语的。

良好的多语言评估需要什么？

母语者以母语撰写提示，并由母语者评判输出。两者都很重要。由翻译评判的母语提示仅比没有评估稍好。

评判应将文化适应性与语言正确性分开。一个答案可以在语法上完美但在当地不合适，将两者合并为一个评分会掩盖这一点。

• 提示以母语撰写，而非翻译
• 由该语言的母语者进行评判
• 文化适应性单独评分
• 安全行为需按语言测试，而非假设

首先应该关注哪里？

在您的部署范围内资源最少的语言，因为这是行为差距最大的地方，也是之前评估最少的地方。

这也是寻找合格评估人员最困难的地方，这就是为什么这往往被推迟，差距持续存在的原因。

AI安全防护措施在每种语言中都一样有效吗？

通常不是。主要从以英语为主的数据中学习的防护措施转移不均匀，在英语中有效的防护措施在低资源语言中可能失效。

我可以通过翻译我的英语测试集来评估模型吗？

不可靠。翻译的提示带有英语的句法和框架，因此以不同于真实母语使用的方式测试模型，并遗漏了实际导致失败的措辞。

谁应该评判多语言模型的输出？

目标语言的母语者，分别评判文化适应性和语言正确性，以便流利但在当地不合适的答案不会被评为正确。