4 个月前

3D 多体模型:将一组合理的 3D 人体模型拟合到模糊的图像数据中

3D 多体模型:将一组合理的 3D 人体模型拟合到模糊的图像数据中

摘要

我们研究了从单视角和部分遮挡视图中获取人体密集3D重建的问题。在这些情况下,视觉证据通常不足以唯一确定一个3D重建结果,因此我们的目标是从输入数据中恢复多个合理的重建结果。我们认为,通过使用合适的3D模型(如用于人体的SMPL模型)对可能的身体形状和姿态进行参数化,可以更有效地建模不确定性。我们提出了一种基于最佳M损失(best-of-M loss)的多假设神经网络回归器学习方法,其中每个假设都通过生成模型约束在合理的人体姿态流形上。实验表明,我们的方法在标准的人体3D基准测试中以及在这些基准测试的严重遮挡版本中,优于其他替代方法,在模糊姿态恢复方面表现突出。

基准测试

基准方法指标
multi-hypotheses-3d-human-pose-estimation-on-23D Multi-bodies
Best-Hypothesis MPJPE (n = 25): 90.0
Best-Hypothesis PMPJPE (n = 25): 64.2
H36M PMPJPE (n = 1): 41.6
H36M PMPJPE (n = 25): 42.2
Most-Likely Hypothesis PMPJPE (n = 1): 67.8
multi-hypotheses-3d-human-pose-estimation-on-2SMPL-CVAE
Best-Hypothesis MPJPE (n = 25): 109.7
Best-Hypothesis PMPJPE (n = 25): 75.1
H36M PMPJPE (n = 1): 46.7
H36M PMPJPE (n = 25): 46.2
Most-Likely Hypothesis PMPJPE (n = 1): 76.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
3D 多体模型:将一组合理的 3D 人体模型拟合到模糊的图像数据中 | 论文 | HyperAI超神经