3 个月前

基于将三维骨骼表示为李群中点的人体动作识别

基于将三维骨骼表示为李群中点的人体动作识别

摘要

近年来,成本低廉的深度传感器与Shotton等人提出的实时骨骼估计算法相结合,重新激发了基于骨骼的人体动作识别研究热潮。现有的大多数基于骨骼的方法通常采用关节点位置或关节点角度来表征人体骨骼结构。本文提出一种新型的骨骼表示方法,该方法通过三维空间中的旋转与平移,显式建模人体不同肢体部件之间的三维几何关系。由于三维刚体运动属于特殊欧几里得群SE(3),所提出的骨骼表示位于李群SE(3)×…×SE(3)上,该空间是一个非平坦的流形(曲面)。基于该表示,人体动作可被建模为该李群中的一条曲线。然而,在该李群中对曲线进行分类是一项具有挑战性的任务,因此本文将动作曲线从李群映射至其对应的李代数,而李代数是一个向量空间。随后,采用动态时间规整(Dynamic Time Warping)、傅里叶时间金字塔表示(Fourier Temporal Pyramid Representation)与线性支持向量机(Linear SVM)相结合的方法进行分类。在三个典型动作识别数据集上的实验结果表明,所提出的表示方法在性能上优于多种现有骨骼表示方法;同时,该方法也超越了多种当前最先进的基于骨骼的人体动作识别技术。

基准测试

基准方法指标
skeleton-based-action-recognition-on-florenceLie Group
Accuracy: 90.9%
skeleton-based-action-recognition-on-ntu-rgbdLie Group
Accuracy (CS): 50.1
Accuracy (CV): 52.8
skeleton-based-action-recognition-on-utLie Group
Accuracy: 97.1%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于将三维骨骼表示为李群中点的人体动作识别 | 论文 | HyperAI超神经