摘要

本研究的目标是在无需人工标注真实转录文本的情况下，训练出高性能的视觉语音识别模型。为此，我们采用了一种从大规模纯音频语料库上训练的自动语音识别（ASR）模型进行知识蒸馏的方法。我们提出了一种跨模态蒸馏策略，结合了连接时序分类（CTC）与帧级交叉熵损失，以实现有效知识迁移。本工作的贡献主要体现在四个方面：（i）证明了在训练唇读系统时，真实转录文本并非必需；（ii）展示了如何利用任意数量的未标注视频数据来提升模型性能；（iii）证实了知识蒸馏可显著加速训练过程；（iv）在挑战性极强的LRS2与LRS3数据集上，仅基于公开可用数据进行训练，取得了当前最优的识别性能。