摘要

唇读是指通过分析说话过程中唇部区域的运动来识别语音内容的任务。鉴于说话过程中相邻帧之间的连续性，以及不同说话者在发出相同音素时运动模式的一致性，我们将说话过程中的唇部运动建模为唇部区域的一系列表观形变序列。具体而言，我们提出一种形变流网络（Deformation Flow Network, DFN），用于学习相邻帧之间的形变流，从而直接捕捉唇部区域内的运动信息。随后，将学习得到的形变流与原始灰度帧结合，通过双流网络进行唇读。与以往的双流网络不同，我们引入双向知识蒸馏损失，使两个分支在训练过程中能够相互学习，实现联合优化。得益于两个分支提供的互补线索，该双流网络在性能上显著优于仅使用单一分支的模型。我们在两个大规模唇读基准数据集上进行了全面的实验评估，并进行了详细分析。实验结果验证了我们的设计动机，表明所提方法在两个具有挑战性的数据集上均达到了当前最优或具有竞争力的性能水平。