3 个月前

PC-HMR:基于2D图像/视频的3D人体网格恢复姿态校准

PC-HMR:基于2D图像/视频的3D人体网格恢复姿态校准

摘要

端到端的人体网格恢复(Human Mesh Recovery, HMR)方法在三维人体重建任务中已取得显著成功。然而,大多数基于HMR的框架直接从图像或视频中学习网格参数,缺乏对视觉数据中三维人体姿态的显式引导,导致在处理复杂动作时生成的网格常出现姿态错误。为解决这一问题,本文提出利用三维姿态信息对人体现有网格进行校准。具体而言,我们设计了两种新颖的姿势校准框架——串行式PC-HMR(Serial PC-HMR)与并行式PC-HMR(Parallel PC-HMR)。通过以串行或并行方式融合先进的三维姿态估计算法与HMR框架,这两种方法能够借助简洁的姿势校准模块,有效修正人体现有网格的几何结构。此外,由于校准模块基于非刚性姿态变换设计,PC-HMR框架可灵活应对骨骼长度的变化,从而缓解校准后网格中可能出现的位置偏差问题。最终,我们的框架建立在数据驱动学习与几何建模的通用且互补的融合基础之上,通过即插即用的模块化设计,可高效适配基于图像或视频的人体网格恢复任务。更重要的是,该方法在测试阶段无需额外的三维姿态标注,显著降低了实际应用中的推理复杂度。我们在多个主流基准数据集(包括Human3.6M、3DPW和SURREAL)上进行了大量实验,结果表明,所提出的PC-HMR框架在各项指标上均达到了当前最优(State-of-the-Art, SOTA)水平。

基准测试

基准方法指标
3d-human-pose-estimation-on-3dpwPC-HMR
MPJPE: 87.8
MPVPE: 108.6
PA-MPJPE: 66.9
3d-human-pose-estimation-on-human36mPC-HMR
Average MPJPE (mm): 47.9
PA-MPJPE: 37.3
3d-human-pose-estimation-on-surreal-1PC-HMR
MPJPE: 51.7
PA-MPJPE: 37.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PC-HMR:基于2D图像/视频的3D人体网格恢复姿态校准 | 论文 | HyperAI超神经