获取低资源语言数据及其不可替代性

为什么抓取在这里无效？

因为在线上不存在可用数量的材料。这正是使语言成为低资源的原因。更努力地抓取不会创造从未写过的文本。

抓取到的通常是宗教翻译、政府公告和新闻，这是一种狭窄而正式的语体，训练出的系统无法处理对话。

为什么翻译无效？

因为将英语句子翻译成目标语言的语料库教给模型的是翻译体。母语者不会那样说话，这种不匹配在实际使用中立即显现。

它还会引入源语言的主题分布，因此生成的系统对源语料库涵盖的主题很流利，而对本地重要的主题却无能为力。

为什么合成生成是循环的？

因为生成可用的训练数据需要模型已经对该语言有一定掌握。如果你有那样的模型，就不需要数据了。

合成增强在你拥有真正的种子语料库后有实际用途。它无法创造一个。

数据来源实际需要什么？

母语者创作新材料，这意味着在语言社区内招聘，而不是在网上广泛招聘。对于许多低资源语言来说，说话者人口地理集中，因此这是一个实际存在问题，而不是平台问题。

预计时间表会反映这一点。一个没有现有语料库且说话者分散的语言是一个需要数月的资源获取工作，任何声称否则的供应商要么是转包给翻译，要么是没有理解要求。

• 在语言社区内招聘
• 母语创作，而非翻译
• 从零开始创建语料库的现实时间表
• 明确指定语体和领域覆盖

在机器学习中，什么是低资源语言？

一种可用于训练的数字数据很少的语言，无论说话者数量如何。有些拥有数千万说话者的语言也是低资源的。

我可以使用翻译文本来训练低资源语言模型吗？

它教授的是翻译体而非本地用法，并引入源语料库的主题分布。这种不匹配在实际用户中立即显现。

合成数据能解决低资源语言的缺口吗？

不能从零开始。生成可用数据需要模型已经对该语言有一定掌握，这是循环的。合成增强只有在存在真正的母语种子语料库时才有用。