4 个月前

HuManiFlow:用于人体姿态和形状分布估计的SO(3)流形上的祖先条件归一化流

HuManiFlow:用于人体姿态和形状分布估计的SO(3)流形上的祖先条件归一化流

摘要

单目3D人体姿态和形状估计是一个病态问题,因为多个3D解可以解释一个主体的2D图像。近期的方法通过预测基于图像的可能3D姿态和形状参数的概率分布来解决这一问题。我们展示了这些方法在三个关键属性之间存在权衡:(i)准确性——预测分布下真实3D解的可能性,(ii)样本输入一致性——从预测分布中生成的3D样本与可见2D图像证据匹配的程度,以及(iii)样本多样性——预测分布所建模的可能3D解的范围。我们的方法HuManiFlow能够同时预测准确、一致且多样的分布。我们利用人体运动学树以自回归的方式将全身姿态分解为基于祖先条件的身体部位姿态分布。每个身体部位的姿态分布通过尊重SO(3)流形结构(即每个身体部位的姿态李群)的归一化流实现。我们证明了虽然广泛使用但病态的3D点估计损失会降低样本多样性,并仅采用概率训练损失。代码可在以下地址获取:https://github.com/akashsengupta1997/HuManiFlow。

代码仓库

akashsengupta1997/humaniflow
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-pose-estimation-on-3dpwHuManiFlow
MPJPE: 83.9
PA-MPJPE: 53.4
multi-hypotheses-3d-human-pose-estimation-on-2HuManiFlow
Best-Hypothesis MPJPE (n = 25): -
Best-Hypothesis PMPJPE (n = 25): -
H36M PMPJPE (n = 1): -
H36M PMPJPE (n = 25): -
Most-Likely Hypothesis PMPJPE (n = 1): -

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HuManiFlow:用于人体姿态和形状分布估计的SO(3)流形上的祖先条件归一化流 | 论文 | HyperAI超神经