摘要

我们探讨了通过学习原始音频表示来进行无监督预训练在语音识别中的应用。wav2vec 在大量未标记的音频数据上进行训练，然后利用生成的表示来改进声学模型的训练。我们预先训练了一个简单的多层卷积神经网络，该网络通过噪声对比二分类任务进行优化。在 WSJ（Wall Street Journal）数据集上的实验表明，当仅有几小时的转录音频数据可用时，我们的方法可以将一个强大的基于字符的对数梅尔滤波器基线系统的词错误率（WER）降低多达 36%。我们的方法在 nov92 测试集上达到了 2.43% 的词错误率。这一结果优于文献中报道的最佳基于字符的系统——Deep Speech 2，而使用的标记训练数据量减少了两个数量级。