摘要

视觉语音识别（VSR）旨在通过唇部运动来识别语音内容，而不依赖音频流。深度学习的进步以及大规模音视频数据集的可用性，使得VSR模型的准确性和鲁棒性达到了前所未有的水平。然而，这些进展通常归因于更大的训练集，而非模型设计本身。本文证明了设计更好的模型与使用更大的训练集同样重要。我们提出在VSR模型中增加基于预测的辅助任务，并强调超参数优化和适当的数据增强的重要性。实验结果表明，该模型适用于不同的语言，并且在公开数据集上训练的表现远超所有先前的方法。即使与使用非公开数据集、数据量多至21倍的模型相比，该模型仍然表现出色。此外，我们还展示了使用其他语言的数据或自动生成的转录作为额外训练数据，可以进一步提高模型性能。