
摘要
以往从单目图像中恢复三维人体运动的方法常常由于依赖相机坐标系而出现不足,导致在实际应用中的准确性降低。焦距标签的有限可用性和多样性进一步加剧了重建三维人体时的对齐问题。为了解决这些挑战,我们提出了一种名为W-HMR的弱监督校准方法,该方法基于身体畸变信息预测“合理的”焦距,从而消除了对精确焦距标签的需求。我们的方法提高了二维监督的精度和恢复的准确性。此外,我们还引入了OrientCorrect模块,该模块修正了世界空间中的身体方向,以获得合理的重建结果,避免了因相机旋转预测不准确而导致的误差累积。我们的贡献包括一种新颖的弱监督相机校准技术、一个有效的方向修正模块以及一种显著提高人体运动恢复在相机坐标系和世界坐标系中泛化能力和准确性的解耦策略。通过在多个数据集上的广泛实验验证了W-HMR的鲁棒性,展示了其相对于现有方法的优势。项目页面 https://yw0208.github.io/w-hmr/ 上提供了代码和演示。
代码仓库
yw0208/W-HMR
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-human-pose-estimation-on-3dpw | W-HMR | MPJPE: 64.6 MPVPE: 75.7 PA-MPJPE: 40.5 |
| 3d-human-pose-estimation-on-agora | W-HMR | B-MPJPE: 67.9 B-MVE: 63.4 B-NMJE: 75.4 B-NMVE: 70.4 |
| 3d-human-pose-estimation-on-human36m | W-HMR | Average MPJPE (mm): 45.5 Multi-View or Monocular: Monocular PA-MPJPE: 30.2 |
| 3d-human-pose-estimation-on-mpi-inf-3dhp | W-HMR | MPJPE: 83.2 PA-MPJPE: 59.1 |
| 3d-human-pose-estimation-on-spec-mtp | W-HMR | W-MPJPE: 118.7 W-PVE: 133.9 |