3 个月前

DG-STGCN:基于骨架的动作识别动态时空建模

DG-STGCN:基于骨架的动作识别动态时空建模

摘要

图卷积网络(Graph Convolutional Networks, GCN)在基于骨骼的动作识别任务中得到了广泛应用。我们注意到,现有的基于GCN的方法主要依赖于预定义的图结构(即人工设定的骨骼关节点拓扑关系),这限制了其捕捉关节点之间复杂关联的能力。为突破这一局限,本文提出一种新的基于骨骼的动作识别框架——动态分组时空图卷积网络(Dynamic Group Spatio-Temporal GCN, DG-STGCN)。该框架由两个核心模块构成:DG-GCN用于空间建模,DG-TCN用于时间建模。其中,DG-GCN通过学习得到的亲和矩阵来动态建模图结构,而非依赖固定的预设拓扑;DG-TCN则采用具有可变感受野的分组时间卷积,并引入动态关节点-骨骼融合模块,实现自适应的多层次时间建模。在多个主流基准数据集(包括NTU RGB+D、Kinetics-Skeleton、BABEL和Toyota SmartHome)上的实验结果表明,DG-STGCN始终优于当前最先进的方法,且在多数情况下性能提升显著。

基准测试

基准方法指标
skeleton-based-action-recognition-on-ntu-rgbdDG-STGCN
Accuracy (CS): 93.2
Accuracy (CV): 97.5
Ensembled Modalities: 4
skeleton-based-action-recognition-on-ntu-rgbd-1DG-STGCN
Accuracy (Cross-Setup): 91.3
Accuracy (Cross-Subject): 89.6
Ensembled Modalities: 4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DG-STGCN:基于骨架的动作识别动态时空建模 | 论文 | HyperAI超神经