Changhan WangMorgane RivièreAnn LeeAnne WuChaitanya TalnikarDaniel HazizaMary WilliamsonJuan PinoEmmanuel Dupoux

摘要
我们推出了VoxPopuli,这是一个大规模多语言语料库,包含23种语言共计10万小时的未标注语音数据。该语料库是迄今为止规模最大、可用于无监督表征学习及半监督学习的开源数据集。此外,VoxPopuli还包含16种语言的1.8千小时语音转写数据,以及这些语音内容在另外5种语言中的对齐口译文本,总时长达5.1千小时。我们提供了语音识别基线模型,并在具有挑战性的域外(out-of-domain)设置下验证了VoxPopuli未标注数据在半监督学习中的通用性与有效性。该语料库将通过GitHub开源发布,地址为:https://github.com/facebookresearch/voxpopuli,采用开放许可协议。
代码仓库
facebookresearch/voxpopuli
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| speech-recognition-on-common-voice-french | VoxPopuli-50K (n-gram) | Test WER: 9.6% |
| speech-recognition-on-common-voice-german | VoxPopuli (n-gram) | Test WER: 7.8% |
| speech-recognition-on-common-voice-spanish | VoxPopuli-50K (n-gram) | Test WER: 10.0% |