4 个月前

通过生成和序数排序实现单目3D人体姿态估计

通过生成和序数排序实现单目3D人体姿态估计

摘要

从静态图像中进行单目3D人体姿态估计是一个具有挑战性的问题,这是由于维度诅咒和从2D到3D提升的非良定性质所致。在本文中,我们提出了一种基于深度条件变分自编码器(Deep Conditional Variational Autoencoder, CVAE)的模型,该模型能够在估计的2D姿态条件下生成多种解剖学上合理的3D姿态样本。我们展示了基于CVAE的3D姿态样本集与2D姿态保持一致,并有助于解决从2D到3D提升过程中固有的模糊性问题。我们提出了两种获得最终3D姿态的策略:(a) 利用深度排序/序数关系对候选3D姿态进行评分并加权平均,称为序数评分(OrdinalScore),以及 (b) 在Oracle监督下进行。我们在两个基准数据集上使用序数评分方法报告了接近最先进水平的结果,并在使用Oracle的情况下达到了最先进水平的结果。此外,我们还证明了我们的流水线在没有配对的图像到3D注释的情况下也能产生有竞争力的结果。训练和评估代码可在以下网址获取:https://github.com/ssfootball04/generative_pose。

代码仓库

ssfootball04/generative_pose
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-pose-estimation-on-human36mMultiPoseNet with Oracle
Average MPJPE (mm): 46.8
3d-human-pose-estimation-on-humaneva-iOurs (Oracle)
Mean Reconstruction Error (mm): 23.9
monocular-3d-human-pose-estimation-on-human3MultiPoseNet
Average MPJPE (mm): 58.0
Frames Needed: 1
Need Ground Truth 2D Pose: No
Use Video Sequence: No
multi-hypotheses-3d-human-pose-estimation-onSharma et al.
Average MPJPE (mm): 46.8
Average PMPJPE (mm): 37.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过生成和序数排序实现单目3D人体姿态估计 | 论文 | HyperAI超神经