17 天前

基于骨架的动作识别的时空图卷积网络

基于骨架的动作识别的时空图卷积网络

摘要

人体骨骼的动态特征为动作识别提供了重要信息。传统的骨骼建模方法通常依赖于手工设计的部件划分或遍历规则,因而表达能力有限,且难以实现良好的泛化性能。本文提出一种新型动态骨骼建模方法——时空图卷积网络(Spatial-Temporal Graph Convolutional Networks, ST-GCN),通过从数据中自动学习空间与时间模式,突破了以往方法的局限性。该方法不仅显著提升了模型的表达能力,还增强了泛化性能。在Kinetics和NTU-RGBD两个大规模数据集上,该方法均显著优于主流方法。

代码仓库

XinzeWu/st-GCN
pytorch
GitHub 中提及
yysijie/st-gcn
官方
pytorch
GitHub 中提及
ZhangNYG/ST-GCN
pytorch
GitHub 中提及
KrisLee512/ST-GCN
pytorch
GitHub 中提及
ericksiavichay/cs230-final-project
pytorch
GitHub 中提及
open-mmlab/mmskeleton
pytorch
GitHub 中提及
github-zbx/ST-GCN
pytorch
GitHub 中提及
kennymckormick/pyskl
pytorch
GitHub 中提及
l13025816/PGCN
pytorch
GitHub 中提及
AbiterVX/ST-GCN
pytorch
GitHub 中提及
DixinFan/st-gcn
pytorch
GitHub 中提及
1zgh/st-gcn
pytorch
GitHub 中提及
antoniolq/st-gcn
pytorch
GitHub 中提及
stillarrow/S2VT_ACT
pytorch
GitHub 中提及
Powercoder64/TAA-GCN
pytorch
GitHub 中提及
GeyuanZhang/st-gcn-master
pytorch
GitHub 中提及
Tudouu/stgcn_light_op
pytorch
GitHub 中提及
metrics-lab/st-fmri
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-pose-estimation-on-human36mST-GCN
Average MPJPE (mm): 57.4
action-recognition-in-videos-on-icvl-4ST-GCN
Accuracy: 80.23%
action-recognition-in-videos-on-irdST-GCN
Accuracy: 74.03%
action-recognition-on-h2o-2-hands-and-objectsST-GCN
Actions Top-1: 73.86
Hand Pose: 3D
Object Label: No
Object Pose: Yes
RGB: No
multimodal-activity-recognition-on-ev-actionST-GCN (Skeleton Kinect)
Accuracy: 79.6
multimodal-activity-recognition-on-ev-actionST-GCN (Skeleton Vicon)
Accuracy: 50.7
skeleton-based-action-recognition-on-ntu-rgbdST-GCN [PYSKL, 3D Skeleton]
Accuracy (CS): 90.7
Accuracy (CV): 96.5
skeleton-based-action-recognition-on-ntu-rgbdST-GCN [Vanilla, 2D Skeleton]
Accuracy (CS): 90.1
Accuracy (CV): 95.1
skeleton-based-action-recognition-on-ntu-rgbdST-GCN
Accuracy (CS): 81.5
Accuracy (CV): 88.3
skeleton-based-action-recognition-on-ntu-rgbdST-GCN [Vanilla, 3D Skeleton]
Accuracy (CS): 86.6
Accuracy (CV): 93.2
skeleton-based-action-recognition-on-ntu-rgbd-1ST-GCN [PYSKL, 3D Skeleton]
Accuracy (Cross-Setup): 88.4
Accuracy (Cross-Subject): 86.2
skeleton-based-action-recognition-on-ntu-rgbd-1ST-GCN [PYSKL, 2D Skeleton]
Accuracy (Cross-Setup): 89.0
Accuracy (Cross-Subject): 84.7
skeleton-based-action-recognition-on-uavST-GCN
CSv1(%): 30.25
CSv2(%): 56.14
skeleton-based-action-recognition-on-varyingST-GCN
Accuracy (AV I): 53%
Accuracy (AV II): 43%
Accuracy (CS): 71%
Accuracy (CV I): 25%
Accuracy (CV II): 56%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于骨架的动作识别的时空图卷积网络 | 论文 | HyperAI超神经