
摘要
我们提出了一种模块,用于扩展图卷积网络(GCN)的时间图结构,以实现基于骨骼序列的动作识别。现有方法致力于在帧内(intra-frame)构建更为合理的空间图,却忽视了帧间(inter-frame)时间图的优化。具体而言,这些方法仅在不同帧中对应同一关节的节点之间建立连接。在本工作中,我们关注于在帧间引入与邻近多个节点的连接,并基于扩展后的时间图提取额外特征。该模块是一种简单而有效的方法,能够捕捉人体运动中多个关节之间的相关性特征。此外,该模块可与仅优化空间图的其他GCN方法结合,进一步提升整体性能。我们在两个大规模数据集NTU RGB+D和Kinetics-Skeleton上进行了大量实验,结果表明,所提出的模块对多种现有模型均具有显著提升效果,且我们最终构建的模型达到了当前最先进的性能水平。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| skeleton-based-action-recognition-on-kinetics | 2s-AGCN+TEM | Accuracy: 38.6 |
| skeleton-based-action-recognition-on-ntu-rgbd | MS-AAGCN+TEM | Accuracy (CS): 91.0 Accuracy (CV): 96.5 |