摘要

图卷积网络（Graph Convolutional Networks, GCN）近年来被广泛研究，用于利用人体骨架的图结构拓扑信息进行基于骨架的动作识别。然而，现有大多数方法在消息传递过程中采用固定不变的聚合模式，难以适应不同动作样本的差异性，缺乏对类别内部多样性以及骨架序列特性的充分考量。而骨架序列中通常包含冗余甚至有害的连接关系，这进一步限制了模型性能的提升。为此，本文提出一种新型可变形图卷积网络（Deformable Graph Convolutional Network, DeGCN），能够自适应地捕捉最具信息量的关键关节。所提出的DeGCN在空间图与时间图上均学习可变形的采样位置，使模型能够感知更具判别性的感受野。值得注意的是，考虑到人类动作本质上具有连续性，其对应的时间特征被建模于一个连续的隐式空间中，从而更好地刻画动作的时间动态特性。此外，我们设计了一种创新的多分支架构，不仅在模型精度与参数规模之间实现了更优的权衡，还显著提升了关节模态与骨骼模态之间的融合效果。大量实验结果表明，所提方法在三个广泛使用的基准数据集——NTU RGB+D、NTU RGB+D 120以及NW-UCLA上均取得了当前最优的性能表现。