摘要

在基于骨骼的动作识别任务中，一个关键挑战在于：由于骨骼表示缺乏图像级细节，难以区分具有相似关节轨迹的动作。我们注意到，区分相似动作的关键在于特定身体部位中细微的运动细节，因此本文方法聚焦于局部骨骼结构的细粒度运动建模。为此，我们提出ProtoGCN——一种基于图卷积网络（Graph Convolutional Network, GCN）的模型，该模型将整个骨骼序列的动力学过程分解为若干可学习的原型（prototypes）的组合，这些原型代表了动作单元的核心运动模式。通过对比原型的重构结果，ProtoGCN能够有效识别并增强相似动作之间的判别性表征。在不依赖复杂设计的前提下，ProtoGCN在多个基准数据集（包括NTU RGB+D、NTU RGB+D 120、Kinetics-Skeleton和FineGYM）上均取得了当前最优的性能，充分验证了所提方法的有效性。代码已开源，地址为：https://github.com/firework8/ProtoGCN。