摘要

我们总结了多项利用大规模自动语音识别（ASR）模型所取得的成果，这些模型在包含约百万小时音频的大型、多样化无标签数据集上进行了预训练。研究发现，预训练、自训练（self-training）与模型规模扩大的结合显著提升了数据效率，即使在拥有数万小时标注数据的超大规模任务中亦然。具体而言，在一项包含34,000小时标注数据的ASR任务中，仅通过微调一个参数量达80亿的预训练Conformer模型，即可在仅使用3%训练数据的情况下达到当前最先进（SoTA）水平的性能；而使用全部训练数据时，还能进一步显著超越现有最先进方法。此外，我们还报告了在涵盖广泛语音领域、数据集规模跨越多个数量级的大量下游任务中，使用大规模预训练与自训练模型所带来的普遍性优势，包括在多个公开基准测试中实现最先进性能。同时，我们还利用预训练网络所学习到的表征，在非ASR任务上也取得了最先进结果。