4 个月前

W-HMR:基于弱监督校准的世界空间单目人体网格恢复

W-HMR:基于弱监督校准的世界空间单目人体网格恢复

摘要

以往从单目图像中恢复三维人体运动的方法常常由于依赖相机坐标系而出现不足,导致在实际应用中的准确性降低。焦距标签的有限可用性和多样性进一步加剧了重建三维人体时的对齐问题。为了解决这些挑战,我们提出了一种名为W-HMR的弱监督校准方法,该方法基于身体畸变信息预测“合理的”焦距,从而消除了对精确焦距标签的需求。我们的方法提高了二维监督的精度和恢复的准确性。此外,我们还引入了OrientCorrect模块,该模块修正了世界空间中的身体方向,以获得合理的重建结果,避免了因相机旋转预测不准确而导致的误差累积。我们的贡献包括一种新颖的弱监督相机校准技术、一个有效的方向修正模块以及一种显著提高人体运动恢复在相机坐标系和世界坐标系中泛化能力和准确性的解耦策略。通过在多个数据集上的广泛实验验证了W-HMR的鲁棒性,展示了其相对于现有方法的优势。项目页面 https://yw0208.github.io/w-hmr/ 上提供了代码和演示。

代码仓库

yw0208/W-HMR
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-pose-estimation-on-3dpwW-HMR
MPJPE: 64.6
MPVPE: 75.7
PA-MPJPE: 40.5
3d-human-pose-estimation-on-agoraW-HMR
B-MPJPE: 67.9
B-MVE: 63.4
B-NMJE: 75.4
B-NMVE: 70.4
3d-human-pose-estimation-on-human36mW-HMR
Average MPJPE (mm): 45.5
Multi-View or Monocular: Monocular
PA-MPJPE: 30.2
3d-human-pose-estimation-on-mpi-inf-3dhpW-HMR
MPJPE: 83.2
PA-MPJPE: 59.1
3d-human-pose-estimation-on-spec-mtpW-HMR
W-MPJPE: 118.7
W-PVE: 133.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
W-HMR:基于弱监督校准的世界空间单目人体网格恢复 | 论文 | HyperAI超神经