4 个月前

弱监督生成网络用于多个人体3D姿态假设

弱监督生成网络用于多个人体3D姿态假设

摘要

从单张图像中进行三维人体姿态估计是一个逆问题,因为深度信息的缺失导致了固有的模糊性。以往的一些研究通过生成多个假设来解决这一逆问题。然而,这些方法通常需要强监督,并且需要真实的二维到三维对应关系,这在实际应用中可能难以获得。本文提出了一种弱监督的深度生成网络,以解决逆问题并避免对真实二维到三维对应关系的需求。为此,我们设计了该网络来建模一个提议分布,用以近似未知的多模态目标后验分布。我们通过最小化提议分布与目标分布之间的KL散度来实现这一近似,从而得到可以进行弱监督的二维重投影误差和先验损失项。此外,我们利用均值漂移算法确定最可能的解作为样本条件模式。我们在三个基准数据集——Human3.6M、MPII和MPI-INF-3DHP上评估了我们的方法。实验结果表明,我们的方法能够生成多个可行的假设,并且在现有的弱监督方法中达到了最先进的性能。我们的源代码可在项目网站上获取。

基准测试

基准方法指标
3d-human-pose-estimation-on-human36mWSGAN
Average MPJPE (mm): 81.1
3d-human-pose-estimation-on-mpi-inf-3dhpWSGAN
PCK: 79.3
multi-hypotheses-3d-human-pose-estimation-onLi et al.
Average MPJPE (mm): 73.9
Average PMPJPE (mm): 44.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
弱监督生成网络用于多个人体3D姿态假设 | 论文 | HyperAI超神经