摘要

连续手语识别（Continuous Sign Language Recognition, CSLR）是指从弱标注视频序列中识别出手语词素（gloss）及其时间边界这一具有挑战性的问题。以往的方法主要侧重于视觉特征的提取，忽视了文本信息的利用，且未能有效建模词素内部的依赖关系。为此，本文提出一种基于跨模态学习的方法，通过引入文本信息来提升基于视觉的CSLR性能。具体而言，首先采用两个强大的编码网络分别生成视频和文本的嵌入表示，随后将二者映射并对齐至一个联合潜在表示空间。所提出的跨模态对齐机制旨在建模词素内部的依赖关系，并生成更具描述性的基于视频的潜在表示，以增强CSLR的表达能力。该方法在视频与文本的潜在表示上进行联合训练，最终利用一个联合训练的解码器对对齐后的视频潜在表示进行分类。在三个主流手语识别数据集上的大量实验结果表明，该方法在性能上显著优于现有最先进方法，充分展现了其在连续手语识别任务中的巨大潜力。