MehtaDushyantSotnychenkoOleksandrMuellerFranziskaXuWeipengSridharSrinathPons-MollGerardTheobaltChristian

摘要
我们提出了一种新的单帧方法,用于从单目RGB相机在一般场景中进行多人3D姿态估计。该方法引入了一种新颖的抗遮挡姿态图(Occlusion-Robust Pose Maps, ORPM),即使在场景中存在他人或物体造成的强烈部分遮挡时,仍能实现完整人体姿态的推断。ORPM输出固定数量的特征图,编码场景中所有人物的3D关节点位置。通过身体部位之间的关联关系,我们能够在不依赖显式边界框预测的前提下,推断任意数量人员的3D姿态。为训练该方法,我们构建了MuCo-3DHP数据集——首个大规模真实图像数据集,展示了复杂多人交互与遮挡场景。我们通过合成多人图像构建了大规模图像语料库,其中每个个体的图像均来源于多视角动作捕捉系统获取的真值数据。我们在新提出的具有挑战性的3D标注多人测试集MuPoTs-3D上对方法进行了评估,结果达到了当前最优性能。为进一步推动多人3D姿态估计领域的研究,我们将公开发布新构建的数据集及相关代码,供学术研究使用。
代码仓库
Daniil-Osokin/lightweight-human-pose-estimation-3d-demo.pytorch
pytorch
GitHub 中提及
ModelBunker/Lightweight-OpenPose-PyTorch
pytorch
GitHub 中提及
2xic/openpose-pigs
pytorch
GitHub 中提及
omkarbhope/Pose-Estimation
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-human-pose-estimation-on-human36m | Single-Shot Multi-Person | Average MPJPE (mm): 69.9 |
| 3d-human-pose-estimation-on-mpi-inf-3dhp | Single-Shot Multi-Person | AUC: 37.8 MPJPE: 122.2 PCK: 75.2 |
| 3d-multi-person-pose-estimation-root-relative | Single-Shot Multi-Person | 3DPCK: 65 |
| 3d-multi-person-pose-estimation-root-relative | Mehta et al. | MPJPE: 132 |