语音数据收集：良好规范应包含的内容

有脚本还是自发？

有脚本语音提供语音覆盖和清晰对齐。自发语音提供不流利、重叠、错误开始以及人们实际说话的方式。它们不是替代品，仅在第一种情况下训练的系统在真实输入上会失败。

大多数项目需要两者在一个明确的比例中。未声明比例通常会导致大多数是有脚本的，因为收集更容易。

为什么要将声学条件指定为范围？

因为仅在安静房间录制的数据集训练的系统只适用于安静房间。如果您的用户在街道或市场上，您需要故意包含这些条件的录音，而不是将其视为废弃。

指定您所需的范围和每个范围的比例。否则，收集会优化为最干净的录音，您的噪声条件性能将在生产中被发现。

• 录音室或安静的室内
• 有背景音的普通室内
• 户外和街道条件
• 电话或相关的压缩通道

说话者多样性应如何指定？

用数字。年龄段、性别平衡、地区口音分布，每个都有目标比例。描述为目标而非配额的多样性在收集物流中无法实现。

对于多语言地区，明确指定代码转换的期望。如果不这样做，您将得到要么没有要么无法测量的数量，两者都无用。

转录规范呢？

在收集开始前确定并在每批次中冻结。关于不流利、重叠语音、不清晰音频和代码转换边界的规范都需要明确的规则，否则每个转录员都会自行解决。

在已转录的语料库上重新应用规范成本高且通常不完整。

语音数据规范应包括什么？

有脚本与自发语音的比例，所需声学条件范围及比例，数字化的说话者多样性目标，以及涵盖不流利、重叠和代码转换的固定转录规范。

为什么在语音数据集中包含噪声录音？

因为仅在干净音频上训练的系统只适用于干净音频。如果您的用户在街道或市场上说话，这些条件必须故意包含，而不是在收集过程中被拒绝。

转录规范应在收集前还是之后设定？

在收集前，并在每批次中冻结。在已转录的语料库上重新应用规范成本高且很少能完全一致。