摘要

近年来，得益于深度学习技术的发展以及大规模数据集的可用性，唇读技术取得了前所未有的进步。尽管取得了令人鼓舞的成果，但由于唇部动作本身的模糊性，导致从唇部运动视频中提取具有判别性的特征仍面临巨大挑战，因此唇读系统的性能目前仍远低于语音识别系统。针对这一问题，本文提出了一种名为“唇读由语音”（Lip by Speech, LIBS）的新方法，旨在通过学习语音识别器的知识来增强唇读能力。该方法的核心思想在于：语音识别器所提取的特征能够提供互补且具有判别性的线索，这些线索难以仅从唇部细微运动中获得，从而有助于提升唇读模型的训练效果。具体而言，本方法通过从语音识别器中蒸馏多粒度知识来实现这一目标。为完成跨模态知识蒸馏，我们设计了一种高效的对齐机制，以解决音频与视频序列长度不一致的问题，并引入一种创新的过滤策略，用于优化语音识别器的预测结果。实验结果表明，所提方法在CMLR和LRS2两个公开数据集上均达到了新的最先进水平，字符错误率（CER）分别相较于基线模型提升了7.66%和2.75%。