4 个月前

Ray3D:基于光线的单目绝对3D人体姿态估计

Ray3D:基于光线的单目绝对3D人体姿态估计

摘要

本文提出了一种基于单目射线的3D(Ray3D)绝对人体姿态估计方法,该方法使用校准后的相机。从单目2D姿态输入中准确且具有泛化能力地估计绝对3D人体姿态是一个病态问题。为了解决这一挑战,我们将输入从像素空间转换为3D归一化射线。这种转换使我们的方法对相机内参的变化具有鲁棒性。为了应对野外环境中相机外参的变化,Ray3D显式地将相机外参作为输入,并联合建模3D姿态射线与相机外参之间的分布关系。这一创新的网络设计是Ray3D方法出色泛化能力的关键。为了全面理解相机内参和外参变化如何影响绝对3D关键点定位的准确性,我们在三个单人3D基准数据集以及一个合成基准数据集上进行了深入系统的实验。这些实验表明,我们的方法显著优于现有的最先进模型。我们的代码和合成数据集可在https://github.com/YxZhxn/Ray3D 获取。

代码仓库

YxZhxn/Ray3D
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-pose-estimation-on-human36mRay3D (T=9 CPN H36M+HEva+3DHP)
Average MPJPE (mm): 84.4
Multi-View or Monocular: Monocular
Using 2D ground-truth joints: No
3d-human-pose-estimation-on-human36mRay3D (T=9 GT)
Average MPJPE (mm): 34.4
Multi-View or Monocular: Monocular
Using 2D ground-truth joints: Yes
3d-human-pose-estimation-on-human36mRay3D (T=9 CPN)
Average MPJPE (mm): 49.7
Multi-View or Monocular: Monocular
Using 2D ground-truth joints: No
3d-human-pose-estimation-on-mpi-inf-3dhpRay3D (T=9 CPN H36M+HEva+3DHP)
MPJPE: 46.6
monocular-3d-human-pose-estimation-on-human3Ray3D
Frames Needed: 9
Need Ground Truth 2D Pose: No
Use Video Sequence: Yes

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供