摘要

基于视觉的连续手语识别（Vision-based Continuous Sign Language Recognition, CSLR）旨在从图像流中识别未分割的手语动作。过拟合是CSLR训练过程中最为关键的问题之一，以往研究显示，迭代训练策略虽能在一定程度上缓解该问题，但同时也显著增加了训练时间。在本研究中，我们重新审视了近期CSLR工作中采用的迭代训练方案，发现充分训练特征提取器对于解决过拟合问题至关重要。为此，我们提出一种视觉对齐约束（Visual Alignment Constraint, VAC），通过引入对齐监督来增强特征提取器的性能。具体而言，所提出的VAC包含两个辅助损失：其一仅作用于视觉特征，其二则强制要求特征提取器与对齐模块之间的预测结果保持一致。此外，我们还设计了两种新指标，通过测量特征提取器与对齐模块之间预测结果的不一致性，来量化过拟合程度。在两个具有挑战性的CSLR数据集上的实验结果表明，所提出的VAC使CSLR网络具备端到端可训练性，并取得了具有竞争力的识别性能。