4 个月前

PARE:用于3D人体估计的部分注意力回归器

PARE:用于3D人体估计的部分注意力回归器

摘要

尽管取得了显著进展,我们发现当前最先进的3D人体姿态和形状估计方法仍然对部分遮挡敏感,并且即使大部分身体可见时,也可能产生严重错误的预测。为了解决这一问题,我们引入了一种称为“部位注意力回归器”(Part Attention REgressor, PARE)的软注意力机制,该机制能够学习预测以身体部位为导向的注意力掩模。我们观察到,现有的最先进方法依赖于全局特征表示,这使得它们对即使是微小的遮挡也十分敏感。相比之下,PARE的部位导向注意力机制通过利用各个身体部位的可见性信息,并结合相邻身体部位的信息来预测被遮挡的部分,从而克服了这些问题。定性分析表明,PARE能够学习合理的注意力掩模;定量评估则证实,PARE在专门针对遮挡和标准基准测试中均比现有方法实现了更准确和鲁棒的重建结果。代码和数据已提供用于研究目的,可访问网址:{\small \url{https://pare.is.tue.mpg.de/}}

代码仓库

mkocabas/PARE
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-pose-estimation-on-3dpwPARE
MPJPE: 74.5
MPVPE: 88.6
PA-MPJPE: 46.5
3d-human-pose-estimation-on-agoraPARE
B-MPJPE: 146.2
B-MVE: 140.9
B-NMJE: 174.0
B-NMVE: 167.7
3d-human-pose-estimation-on-emdbPARE
Average MPJAE (deg): 24.673
Average MPJAE-PA (deg): 22.3842
Average MPJPE (mm): 113.887
Average MPJPE-PA (mm): 72.203
Average MVE (mm): 133.247
Average MVE-PA (mm): 85.3788
Jitter (10m/s^3): 75.1137
3d-multi-person-pose-estimation-on-agoraPARE
B-MPJPE: 146.2
B-MVE: 140.9
B-NMJE: 174.0
B-NMVE: 167.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PARE:用于3D人体估计的部分注意力回归器 | 论文 | HyperAI超神经