
摘要
单目3D人体姿态和形状估计是一个病态问题,因为多个3D解可以解释一个主体的2D图像。近期的方法通过预测基于图像的可能3D姿态和形状参数的概率分布来解决这一问题。我们展示了这些方法在三个关键属性之间存在权衡:(i)准确性——预测分布下真实3D解的可能性,(ii)样本输入一致性——从预测分布中生成的3D样本与可见2D图像证据匹配的程度,以及(iii)样本多样性——预测分布所建模的可能3D解的范围。我们的方法HuManiFlow能够同时预测准确、一致且多样的分布。我们利用人体运动学树以自回归的方式将全身姿态分解为基于祖先条件的身体部位姿态分布。每个身体部位的姿态分布通过尊重SO(3)流形结构(即每个身体部位的姿态李群)的归一化流实现。我们证明了虽然广泛使用但病态的3D点估计损失会降低样本多样性,并仅采用概率训练损失。代码可在以下地址获取:https://github.com/akashsengupta1997/HuManiFlow。
代码仓库
akashsengupta1997/humaniflow
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-human-pose-estimation-on-3dpw | HuManiFlow | MPJPE: 83.9 PA-MPJPE: 53.4 |
| multi-hypotheses-3d-human-pose-estimation-on-2 | HuManiFlow | Best-Hypothesis MPJPE (n = 25): - Best-Hypothesis PMPJPE (n = 25): - H36M PMPJPE (n = 1): - H36M PMPJPE (n = 25): - Most-Likely Hypothesis PMPJPE (n = 1): - |