3 个月前

基于骨骼动作识别的分层分解图卷积网络

基于骨骼动作识别的分层分解图卷积网络

摘要

图卷积网络(Graph Convolutional Networks, GCNs)是基于骨架的动作识别中最常用的方法,已取得显著的性能表现。在该任务中,构建具有语义意义的边(即邻接矩阵)尤为关键,然而,有效提取此类语义边仍是一个具有挑战性的问题。为解决这一问题,本文提出一种分层分解图卷积网络(Hierarchically Decomposed Graph Convolutional Network, HD-GCN)架构,并引入一种新型的分层分解图(Hierarchically Decomposed Graph, HD-Graph)。所提出的HD-GCN能够将每个关节节点有效分解为多个子集,以分别提取主要的结构邻接边与远距离边,并在人体骨架的同一语义空间中构建包含这些边的HD-Graph。此外,本文设计了一种注意力引导的分层聚合模块(Attention-guided Hierarchy Aggregation, A-HA),用于突出HD-Graph中占主导地位的分层边集。同时,我们提出一种新型的六路集成方法,仅使用关节流(joint stream)与骨骼流(bone stream),不依赖任何运动流(motion stream)。所提出的模型在四个主流且规模较大的数据集上进行了评估,均取得了当前最优(state-of-the-art)的性能表现。最后,通过一系列对比实验,充分验证了所提模型的有效性与优越性。

代码仓库

Jho-Yonsei/HD-GCN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
skeleton-based-action-recognition-on-kineticsHD-GCN
Accuracy: 40.9
skeleton-based-action-recognition-on-n-uclaHD-GCN
Accuracy: 97.2
skeleton-based-action-recognition-on-ntu-rgbdHD-GCN
Accuracy (CS): 93.4
Accuracy (CV): 97.2
Ensembled Modalities: 6
skeleton-based-action-recognition-on-ntu-rgbd-1HD-GCN
Accuracy (Cross-Setup): 91.6
Accuracy (Cross-Subject): 90.1
Ensembled Modalities: 6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于骨骼动作识别的分层分解图卷积网络 | 论文 | HyperAI超神经