
摘要
本文提出了一种基于单目射线的3D(Ray3D)绝对人体姿态估计方法,该方法使用校准后的相机。从单目2D姿态输入中准确且具有泛化能力地估计绝对3D人体姿态是一个病态问题。为了解决这一挑战,我们将输入从像素空间转换为3D归一化射线。这种转换使我们的方法对相机内参的变化具有鲁棒性。为了应对野外环境中相机外参的变化,Ray3D显式地将相机外参作为输入,并联合建模3D姿态射线与相机外参之间的分布关系。这一创新的网络设计是Ray3D方法出色泛化能力的关键。为了全面理解相机内参和外参变化如何影响绝对3D关键点定位的准确性,我们在三个单人3D基准数据集以及一个合成基准数据集上进行了深入系统的实验。这些实验表明,我们的方法显著优于现有的最先进模型。我们的代码和合成数据集可在https://github.com/YxZhxn/Ray3D 获取。
代码仓库
YxZhxn/Ray3D
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-human-pose-estimation-on-human36m | Ray3D (T=9 CPN H36M+HEva+3DHP) | Average MPJPE (mm): 84.4 Multi-View or Monocular: Monocular Using 2D ground-truth joints: No |
| 3d-human-pose-estimation-on-human36m | Ray3D (T=9 GT) | Average MPJPE (mm): 34.4 Multi-View or Monocular: Monocular Using 2D ground-truth joints: Yes |
| 3d-human-pose-estimation-on-human36m | Ray3D (T=9 CPN) | Average MPJPE (mm): 49.7 Multi-View or Monocular: Monocular Using 2D ground-truth joints: No |
| 3d-human-pose-estimation-on-mpi-inf-3dhp | Ray3D (T=9 CPN H36M+HEva+3DHP) | MPJPE: 46.6 |
| monocular-3d-human-pose-estimation-on-human3 | Ray3D | Frames Needed: 9 Need Ground Truth 2D Pose: No Use Video Sequence: Yes |