4 个月前

概率建模在人体网格恢复中的应用

概率建模在人体网格恢复中的应用

摘要

本文关注从二维证据中重建三维人体的问题。尽管这是一个本质上具有模糊性的难题,但大多数近期的研究工作都避免了不确定性建模,通常为给定输入回归一个单一估计值。相比之下,我们在本研究中提出接受这种重建的模糊性,并将问题重新定义为从输入到一系列可能的三维姿态分布的学习映射。我们的方法基于归一化流模型(normalizing flows),并具有一系列优势。对于需要单一三维估计的传统应用,我们的公式允许高效计算模式。使用该模式可实现与确定性单模态回归模型相当的性能表现。同时,由于我们能够访问每个样本的似然性,我们展示了该模型在一系列下游任务中的实用性,在这些任务中,我们利用预测的概率性质作为提高估计精度的工具。这些任务包括从多个未标定视图中进行重建以及人体模型拟合,在后者中,我们的模型作为强大的图像先验用于网格恢复。我们的结果验证了概率建模的重要性,并表明在多种设置下达到了最先进的性能水平。代码和模型可在以下网址获取:https://www.seas.upenn.edu/~nkolot/projects/prohmr。

代码仓库

nkolot/ProHMR
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-pose-estimation-on-3dpwProHMR
PA-MPJPE: 65
3d-human-pose-estimation-on-3dpwProHMR + fitting
PA-MPJPE: 55.1
3d-human-pose-estimation-on-3dpwBiggs [3]
PA-MPJPE: 59.9
3d-human-pose-estimation-on-human36mProHMR
PA-MPJPE: 41.2
multi-hypotheses-3d-human-pose-estimation-on-2ProHMR
Best-Hypothesis MPJPE (n = 25): -
Best-Hypothesis PMPJPE (n = 25): 60.1
H36M PMPJPE (n = 1): 41.2
H36M PMPJPE (n = 25): 36.8
Most-Likely Hypothesis PMPJPE (n = 1): 67.3
multi-hypotheses-3d-human-pose-estimation-on-2ProHMR (2D Vis, by MHEntropy)
Best-Hypothesis MPJPE (n = 25): -
Best-Hypothesis PMPJPE (n = 25): 82.6
H36M PMPJPE (n = 1): -
H36M PMPJPE (n = 25): 64.3
Most-Likely Hypothesis PMPJPE (n = 1): -

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供