リソースが少ない言語データの調達とその近道がない理由

なぜスクレイピングはここで失敗するのか？

オンラインで利用可能な量の資料が存在しないためです。それが言語をリソースが少ないものにしている理由です。スクレイピングを強化しても、書かれていないテキストは作成されません。

スクレイピングで見つかるのは、宗教的な翻訳、政府の通知、ニュースなどが多く、これは会話を扱えないシステムを訓練する狭くて形式的なレジスターです。

なぜ翻訳は失敗するのか？

ターゲット言語に翻訳された英語の文のコーパスは、モデルに翻訳されたレジスターを教えるからです。ネイティブスピーカーはそのように話さず、その不一致は実際の使用で即座に現れます。

また、ソース言語のトピック分布を輸入するため、結果として得られるシステムはソースコーパスがカバーした主題には流暢ですが、地元で重要な主題には対応できません。

なぜ合成生成は循環的なのか？

言語の使用可能なトレーニングデータを生成するには、その言語にすでに精通したモデルが必要だからです。それがあれば、データは必要ありません。

合成拡張は、本物のシードコーパスが存在する場合にのみ実際の用途があります。それ自体では作成できません。

実際に必要な調達とは？

ネイティブスピーカーが新しい資料を作成することであり、これはオンライン全体ではなく言語コミュニティ内での募集を意味します。多くのリソースが少ない言語では、話者の人口が地理的に集中しているため、これはプラットフォームの問題以前に物理的な存在の問題です。

そのため、タイムラインがそれを反映することを期待してください。既存のコーパスがなく、話者が分散している言語は、数ヶ月にわたる調達作業であり、そうでないと見積もるサプライヤーは翻訳に下請けしているか、要求を理解していない可能性があります。

• 言語コミュニティ内での募集
• 翻訳ではなくネイティブの制作
• ゼロからのコーパス作成に対する現実的なタイムライン
• レジスターとドメインのカバレッジを明示的に指定

機械学習におけるリソースが少ない言語とは？

話者数に関係なく、トレーニングに利用可能なデジタルデータがほとんどない言語です。数千万人の話者がいる言語でもリソースが少ない場合があります。

翻訳されたテキストを使ってリソースが少ない言語モデルを訓練できますか？

それは翻訳されたレジスターを教え、ネイティブの使用法ではありません。また、ソースコーパスのトピック分布を輸入します。その不一致は実際のユーザーで即座に現れます。

合成データはリソースが少ない言語のギャップを解決できますか？

ゼロからはできません。使用可能なデータを生成するには、その言語にすでに精通したモデルが必要であり、これは循環的です。合成拡張は、本物のネイティブシードコーパスが存在する場合にのみ有用です。