摘要

在这项工作中，我们提出了一种基于ResNet-18和卷积增强变压器（Conformer）的混合CTC/注意力模型，该模型可以进行端到端训练。具体而言，音频和视觉编码器分别从原始像素和音频波形中直接学习提取特征，这些特征随后被输入到Conformer中，再通过多层感知机（MLP）进行融合。该模型利用CTC和注意力机制的组合来识别字符。我们展示了与文献中常用的预计算视觉特征相比，使用Conformer而非递归网络以及基于变压器的语言模型，显著提高了我们的模型性能。我们在句级语音识别的最大公开数据集Lip Reading Sentences 2（LRS2）和Lip Reading Sentences 3（LRS3）上分别展示了实验结果。结果显示，我们提出的模型在仅音频、仅视觉和音视频结合的实验中大幅提升了现有技术水平。