
摘要
尽管取得了显著进展,我们发现当前最先进的3D人体姿态和形状估计方法仍然对部分遮挡敏感,并且即使大部分身体可见时,也可能产生严重错误的预测。为了解决这一问题,我们引入了一种称为“部位注意力回归器”(Part Attention REgressor, PARE)的软注意力机制,该机制能够学习预测以身体部位为导向的注意力掩模。我们观察到,现有的最先进方法依赖于全局特征表示,这使得它们对即使是微小的遮挡也十分敏感。相比之下,PARE的部位导向注意力机制通过利用各个身体部位的可见性信息,并结合相邻身体部位的信息来预测被遮挡的部分,从而克服了这些问题。定性分析表明,PARE能够学习合理的注意力掩模;定量评估则证实,PARE在专门针对遮挡和标准基准测试中均比现有方法实现了更准确和鲁棒的重建结果。代码和数据已提供用于研究目的,可访问网址:{\small \url{https://pare.is.tue.mpg.de/}}
代码仓库
mkocabas/PARE
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-human-pose-estimation-on-3dpw | PARE | MPJPE: 74.5 MPVPE: 88.6 PA-MPJPE: 46.5 |
| 3d-human-pose-estimation-on-agora | PARE | B-MPJPE: 146.2 B-MVE: 140.9 B-NMJE: 174.0 B-NMVE: 167.7 |
| 3d-human-pose-estimation-on-emdb | PARE | Average MPJAE (deg): 24.673 Average MPJAE-PA (deg): 22.3842 Average MPJPE (mm): 113.887 Average MPJPE-PA (mm): 72.203 Average MVE (mm): 133.247 Average MVE-PA (mm): 85.3788 Jitter (10m/s^3): 75.1137 |
| 3d-multi-person-pose-estimation-on-agora | PARE | B-MPJPE: 146.2 B-MVE: 140.9 B-NMJE: 174.0 B-NMVE: 167.7 |