Jwuma为什么您的语音模型在真实的多语言语音上失败
· 1 分钟阅读 · speech, evaluation
本译文由机器生成，未经母语者校对。如有不清楚之处，以英文原版为准。如发现错误请告知我们，我们会更正。 English
大多数语音系统假设每次发声只使用一种语言。真实的多语言使用者在句中切换语言，这会导致无声失败：系统转录主导语言，丢弃或混淆其余部分。通常测量不足是因为单语言测试集不包含这种现象。
要点摘要
- 语言转换指在单次发声中切换语言。
- 在非洲、南亚和东南亚的大部分地区，这是正常的语音现象。
- 单语言测试集无法检测语言转换失败。
- 标注需要对两种语言都流利的标注员，而不是只对一种语言流利。
- 借用单词的约定必须明确固定。
失败实际上是什么样的？
没有错误信息。系统转录它期望的语言部分，默默地混淆或遗漏其余部分，产生看似合理但缺失内容的输出。
由于输出格式良好，下游质量检查通过。这就是为什么问题通常由用户而非评估发现。
为什么测量不足？
因为测试集不包含它。一个由干净的单语言录音组成的数据集，然后分为训练和测试，无法揭示需要混合语言输入才能出现的失败模式。
第一步几乎总是建立一个包含真实语言转换语音的评估集，然后再委托任何训练数据。测量差距比假设其大小更便宜。
谁能实际标注它？
真正对两种语言都流利的人。不是对一种语言流利而对另一种语言有书本知识的人，因为边界经常模糊，解决它们需要对两种语言的本土直觉。
这是决定项目可行性的限制条件。对于少有人对两种语言都流利的语言对，标注员的数量是限制因素，而不是预算。
哪些约定决策最重要？
如何处理在单一语言句子中的单个借用词。一个既定的借词是否算作切换。如何标记一个语言的词干带有另一个语言词缀的形态混合。
每个都有一个可辩护的答案，但没有普遍的答案。重要的是明确选择并固定它，因为标注员在整个语料库中应用不同的答案会产生无用的数据。
- 单个借用词：算作切换吗？
- 既定借词：算作切换吗？
- 形态混合：如何标记？
- 专有名词：排除在切换之外吗？
其他问题
语音识别中的语言转换是什么？
在单次发声中切换语言。这是正常的多语言语音，打破了假设每次发声只使用一种语言的系统，通常通过默默丢弃或混淆意外的语言。
为什么标准测试集会遗漏语言转换失败？
因为它们包含单语言录音。只有在混合语言输入时才出现的失败无法通过不包含混合语言的测试集检测到。
谁能标注语言转换语音？
只有对两种语言都真正流利的标注员，因为边界情况需要对每种语言的本土直觉。这个标注员群体，而不是预算，通常是此类项目的限制因素。