摘要

基于音频的自动语音识别（ASR）在嘈杂环境中显著退化，尤其容易受到干扰语音的影响，因为模型无法确定要转录哪位说话者。视听语音识别（AVSR）系统通过补充不受噪声影响且有助于模型聚焦目标说话者的视觉信息来提高鲁棒性。然而，以往的AVSR研究仅集中在监督学习框架上，因此其进展受到可用标注数据量的限制。在本工作中，我们提出了一种基于视听HuBERT（AV-HuBERT）的自监督AVSR框架，该模型是当前最先进的视听语音表示学习模型之一。在最大的可用AVSR基准数据集LRS3上，我们的方法在仅有不到10%的标注数据（433小时 vs. 30小时）的情况下，在背景噪音存在时，性能优于先前的最佳方法约50%（28.0% vs. 14.1%），同时平均将基于音频的模型的词错误率（WER）降低了超过75%（25.8% vs. 5.8%）。