摘要

手语作为一种非语音的交流方式，通过手势、面部表情及身体动作传递信息与意义。目前大多数手语识别（Sign Language Recognition, SLR）与翻译方法依赖于RGB视频输入，这类方法易受背景变化的影响。采用基于关键点的策略不仅能够有效缓解背景变动带来的干扰，还能显著降低模型的计算开销。然而，现有基于关键点的方法尚未充分挖掘关键点序列中蕴含的隐式语义信息。针对这一挑战，我们受到人类认知机制的启发：人类在理解手语时，不仅关注手势的形态结构，还综合分析其与上下文要素之间的动态关系。为此，我们提出一种多流关键点注意力网络（Multi-Stream Keypoint Attention Network, MSKA-SLR），用于建模由通用关键点检测器生成的关键点序列。为促进多流之间的信息交互，我们系统研究了多种融合策略，包括关键点融合、头融合（head fusion）以及自蒸馏（self-distillation）机制。最终构建的框架被命名为MSKA-SLR，并通过简单引入额外的翻译网络，进一步扩展为手语翻译（Sign Language Translation, SLT）模型。我们在Phoenix-2014、Phoenix-2014T和CSL-Daily等主流基准数据集上进行了全面实验，充分验证了所提方法的有效性。特别地，在Phoenix-2014T数据集的手语翻译任务中，我们取得了新的最先进性能（state-of-the-art）。相关代码与模型已开源，地址为：https://github.com/sutwangyan/MSKA。