3 个月前

基于骨骼的动作识别的时间扩展模块

基于骨骼的动作识别的时间扩展模块

摘要

我们提出了一种模块,用于扩展图卷积网络(GCN)的时间图结构,以实现基于骨骼序列的动作识别。现有方法致力于在帧内(intra-frame)构建更为合理的空间图,却忽视了帧间(inter-frame)时间图的优化。具体而言,这些方法仅在不同帧中对应同一关节的节点之间建立连接。在本工作中,我们关注于在帧间引入与邻近多个节点的连接,并基于扩展后的时间图提取额外特征。该模块是一种简单而有效的方法,能够捕捉人体运动中多个关节之间的相关性特征。此外,该模块可与仅优化空间图的其他GCN方法结合,进一步提升整体性能。我们在两个大规模数据集NTU RGB+D和Kinetics-Skeleton上进行了大量实验,结果表明,所提出的模块对多种现有模型均具有显著提升效果,且我们最终构建的模型达到了当前最先进的性能水平。

基准测试

基准方法指标
skeleton-based-action-recognition-on-kinetics2s-AGCN+TEM
Accuracy: 38.6
skeleton-based-action-recognition-on-ntu-rgbdMS-AAGCN+TEM
Accuracy (CS): 91.0
Accuracy (CV): 96.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于骨骼的动作识别的时间扩展模块 | 论文 | HyperAI超神经