なぜあなたの音声モデルは実際の多言語音声で失敗するのか

実際に失敗はどのように見えるのか？

エラーメッセージではありません。システムは期待される言語の部分を転写し、残りを無音で誤って処理したり省略したりします。その結果、見た目には妥当で内容が欠けている出力が生成されます。

出力が整っているため、下流の品質チェックは通過します。このため、問題は通常、評価ではなくユーザーによって発見されます。

なぜ過小評価されるのか？

テストセットに含まれていないからです。単一言語の録音をクリーンに集めてからトレインとテストに分割したデータセットでは、混合言語の入力が必要な失敗モードを明らかにすることはできません。

最初のステップは、通常、本物のコードスイッチングされた音声を含む評価セットを構築することです。その後にトレーニングデータを委託します。ギャップを測定することは、そのサイズを仮定するよりも安価です。

誰が実際にアノテートできるのか？

両方の言語に本当に堪能な人です。一方の言語に堪能で他方を教科書で学んだ人ではありません。境界が頻繁に曖昧であり、それを解決するには両方の言語のネイティブな直感が必要だからです。

これはプロジェクトの実現可能性を決定する制約です。両方の言語に堪能な人が少ない言語ペアの場合、アノテーターのプールが制約となり、予算ではありません。

どの規則の決定が最も重要か？

単一の借用語を、他の言語の文中でどのように扱うか。確立された借用語がスイッチと見なされるかどうか。ある言語の語幹に他の言語の接辞が付く形態学的なブレンドをどのようにマークするか。

それぞれに正当な答えがあり、普遍的なものはありません。重要なのは、明示的に選択し、それを固定することです。異なる答えをコーパス全体で適用するアノテーターは、何も教えないデータを生成します。

• 単一の借用語: スイッチか否か？
• 確立された借用語: スイッチか否か？
• 形態学的ブレンド: どのようにマークするか？
• 固有名詞: スイッチから除外するか？

音声認識におけるコードスイッチングとは何か？

単一の発話内で言語を変えることです。これは通常の多言語の話し方であり、通常は予期しない言語を無音で落としたり誤って処理することで、1つの言語を仮定するシステムを破ります。

なぜ標準のテストセットはコードスイッチングの失敗を見逃すのか？

それは単一言語の録音を含んでいるからです。混合言語の入力でのみ現れる失敗は、それを含まないテストセットでは検出できません。

誰がコードスイッチングされた音声をアノテートできるのか？

両方の言語に本当に堪能なアノテーターのみです。境界のケースはそれぞれの言語のネイティブな直感を必要とするためです。このアノテーターのプールが、通常、そのようなプロジェクトの制約となります。