摘要

基于RGB-D视频的人体动作识别（Human Action Recognition, HAR）自低成本深度传感器问世以来受到了广泛关注。目前，单模态方法（如基于骨骼和基于RGB视频的方法）在日益庞大的数据集推动下已取得显著进展。然而，针对模型级融合的多模态方法仍鲜有深入研究。本文提出一种基于模型的多模态网络（Model-based Multimodal Network, MMNet），通过模型级融合策略实现骨骼与RGB模态的有效整合。该方法旨在通过充分利用不同数据模态之间的互补信息，提升整体识别准确率。在模型级融合机制中，我们采用时空图卷积网络（Spatio-Temporal Graph Convolutional Network）处理骨骼模态，学习其注意力权重，并将这些权重迁移至RGB模态的网络中，以实现跨模态的信息协同。我们在五个基准数据集上进行了大量实验：NTU RGB+D 60、NTU RGB+D 120、PKU-MMD、Northwestern-UCLA Multiview以及Toyota Smarthome。实验结果表明，在五个数据集的六种评估协议下，所提出的MMNet在多模态融合结果上均优于当前最先进的方法。这证明MMNet能够有效捕捉RGB-D视频中不同模态间的互补特征，并为HAR任务提供更具判别性的表征。此外，我们还将MMNet应用于一个仅含RGB视频的Kinetics 400数据集（包含更多户外动作），实验结果与在RGB-D数据集上的表现保持一致，进一步验证了该方法的泛化能力与鲁棒性。