4 个月前

稀疏性与深度性的结合:基于单目视频的3D人体姿态估计

稀疏性与深度性的结合:基于单目视频的3D人体姿态估计

摘要

本文探讨了从单目图像序列中进行三维全身人体姿态估计的挑战。文中考虑了两种情况:(i)已知人体关节在图像中的位置;(ii)未知关节在图像中的位置。对于第一种情况,提出了一种新颖的方法,该方法结合了稀疏驱动的三维几何先验和时间平滑性。对于第二种情况,则通过将关节的图像位置视为潜在变量来扩展第一种情况的方法。训练了一个深度全卷积网络以预测二维关节位置的不确定性图。通过在整个序列上应用期望最大化算法实现了三维姿态估计,实验表明,在推理过程中可以方便地将二维关节位置的不确定性边缘化。在Human3.6M数据集上的实证评估显示,所提出的 方法在三维姿态估计准确性方面优于现有的最先进基线方法。此外,所提出的方法还在具有挑战性的PennAction数据集上超越了一个公开可用的二维姿态估计基线方法。

基准测试

基准方法指标
3d-human-pose-estimation-on-human36mSparseness Meets Deepness
Average MPJPE (mm): 113.01
3d-human-pose-estimation-on-human36mSparseness Meets Deepness
PA-MPJPE: 106.7
monocular-3d-human-pose-estimation-on-human3Sparseness Meets Deepness
Average MPJPE (mm): 113.01
Frames Needed: 300
Need Ground Truth 2D Pose: No
Use Video Sequence: Yes

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
稀疏性与深度性的结合:基于单目视频的3D人体姿态估计 | 论文 | HyperAI超神经