摘要

视觉语音识别或自动唇读是近年来备受关注的研究领域。视频数据在多模态语音识别中展现出显著价值，尤其在声学信号严重噪声干扰甚至无法获取的情况下。本文提出了一种全新的视觉语音识别方法，并在著名的LRW唇读数据集上进行了基准测试，性能优于现有各类方法。经过全面评估后，我们将该方法进一步优化，并应用于我们实地采集的RUSAVIC语料库——该语料库专为车辆驾驶员在真实驾驶环境下录制。实验结果表明，所提方法不仅表现出优异的识别性能，更验证了仅依靠视频模态实现语音识别的可行性，即使在驾驶这类复杂自然场景中亦具备实际应用潜力。