4 个月前

启发式弱监督3D人体姿态估计

启发式弱监督3D人体姿态估计

摘要

近年来,基于RGB图像的单目3D人体姿态估计引起了广泛关注。然而,最近的模型依赖于带有3D姿态真实数据或已知姿态先验的监督训练,这严重限制了它们的应用范围。通常情况下,3D姿态数据是通过动作捕捉设备收集的。在本文中,我们提出了一种启发式弱监督3D人体姿态(HW-HuP)解决方案,用于在没有真实3D姿态数据的情况下估计3D姿态。HW-HuP从3D人体姿态数据集中学习部分姿态先验,并利用目标域中易于获取的观测数据,在优化和回归循环中估计3D人体姿态和形状。我们在训练过程中使用深度数据进行弱监督,但在推理阶段不使用深度数据。我们展示了在两个实际场景中,当难以获得3D姿态数据时(如床上的人体姿态和野外的婴儿姿态),HW-HuP显著优于现有最先进模型。此外,即使在这些最先进模型使用3D姿态数据进行训练的情况下,我们仍然证明了HW-HuP在公共基准测试中的性能与其相当。

代码仓库

ostadabbas/hw-hup
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-pose-estimation-on-3dpwHW-HuP
PA-MPJPE: 66.1
weakly-supervised-3d-human-pose-estimation-onHW-HuP
Average MPJPE (mm): 104.1
PA-MPJPE: 50.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
启发式弱监督3D人体姿态估计 | 论文 | HyperAI超神经