摘要

手部姿态在手语中起着至关重要的作用。当前基于深度学习的手语识别（SLR）方法由于手语数据来源有限，往往面临可解释性不足和过拟合等问题。本文提出首个可自监督预训练的SignBERT模型，并引入手部先验知识以提升手语识别性能。SignBERT将手部姿态视为一种视觉标记（visual token），该标记由现成的姿态提取器生成。随后，这些视觉标记被嵌入手部动作状态、时序信息以及手部左右手性（hand chirality）等特征。为充分挖掘现有手语数据资源的潜力，SignBERT首先通过掩码与重建视觉标记的方式进行自监督预训练。结合多种掩码建模策略，本文采用一种模型感知的方法，有效融入手部先验知识，从而更精准地建模手部序列的层次化上下文关系。在预训练完成后，添加预测头，对SignBERT进行微调，以完成下游手语识别任务。为验证所提方法在手语识别任务中的有效性，我们在四个公开基准数据集（NMFs-CSL、SLR500、MSASL 和 WLASL）上进行了大量实验。实验结果表明，自监督学习与引入的手部先验均显著提升了模型性能。此外，本文方法在所有基准数据集上均取得了当前最优（state-of-the-art）的识别效果，并实现了显著的性能提升。