
摘要
本文探讨了从单目图像序列中进行三维全身人体姿态估计的挑战。文中考虑了两种情况:(i)已知人体关节在图像中的位置;(ii)未知关节在图像中的位置。对于第一种情况,提出了一种新颖的方法,该方法结合了稀疏驱动的三维几何先验和时间平滑性。对于第二种情况,则通过将关节的图像位置视为潜在变量来扩展第一种情况的方法。训练了一个深度全卷积网络以预测二维关节位置的不确定性图。通过在整个序列上应用期望最大化算法实现了三维姿态估计,实验表明,在推理过程中可以方便地将二维关节位置的不确定性边缘化。在Human3.6M数据集上的实证评估显示,所提出的 方法在三维姿态估计准确性方面优于现有的最先进基线方法。此外,所提出的方法还在具有挑战性的PennAction数据集上超越了一个公开可用的二维姿态估计基线方法。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-human-pose-estimation-on-human36m | Sparseness Meets Deepness | Average MPJPE (mm): 113.01 |
| 3d-human-pose-estimation-on-human36m | Sparseness Meets Deepness | PA-MPJPE: 106.7 |
| monocular-3d-human-pose-estimation-on-human3 | Sparseness Meets Deepness | Average MPJPE (mm): 113.01 Frames Needed: 300 Need Ground Truth 2D Pose: No Use Video Sequence: Yes |