
摘要
我们研究了从单视角和部分遮挡视图中获取人体密集3D重建的问题。在这些情况下,视觉证据通常不足以唯一确定一个3D重建结果,因此我们的目标是从输入数据中恢复多个合理的重建结果。我们认为,通过使用合适的3D模型(如用于人体的SMPL模型)对可能的身体形状和姿态进行参数化,可以更有效地建模不确定性。我们提出了一种基于最佳M损失(best-of-M loss)的多假设神经网络回归器学习方法,其中每个假设都通过生成模型约束在合理的人体姿态流形上。实验表明,我们的方法在标准的人体3D基准测试中以及在这些基准测试的严重遮挡版本中,优于其他替代方法,在模糊姿态恢复方面表现突出。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-hypotheses-3d-human-pose-estimation-on-2 | 3D Multi-bodies | Best-Hypothesis MPJPE (n = 25): 90.0 Best-Hypothesis PMPJPE (n = 25): 64.2 H36M PMPJPE (n = 1): 41.6 H36M PMPJPE (n = 25): 42.2 Most-Likely Hypothesis PMPJPE (n = 1): 67.8 |
| multi-hypotheses-3d-human-pose-estimation-on-2 | SMPL-CVAE | Best-Hypothesis MPJPE (n = 25): 109.7 Best-Hypothesis PMPJPE (n = 25): 75.1 H36M PMPJPE (n = 1): 46.7 H36M PMPJPE (n = 25): 46.2 Most-Likely Hypothesis PMPJPE (n = 1): 76.5 |