
摘要
现有的姿态估计方法可以分为两类:单阶段方法和多阶段方法。尽管从理论上讲,多阶段方法似乎更适合这项任务,但在实际应用中,其性能却不如单阶段方法。本研究探讨了这一问题。我们认为,当前多阶段方法的不尽如人意的性能主要源于各种设计选择上的不足。为此,我们提出了一系列改进措施,包括单阶段模块设计、跨阶段特征聚合以及由粗到精的监督(coarse-to-fine supervision)。这些改进使得我们的方法在MS COCO和MPII人体姿态数据集上均达到了新的最先进水平,从而证明了多阶段架构的有效性。源代码已公开发布,供进一步研究使用。
代码仓库
chenyilun95/tf-cpn
tf
GitHub 中提及
open-mmlab/mmpose
pytorch
yangyucheng000/MSPN
mindspore
fenglinglwb/MSPN
pytorch
GitHub 中提及
hyperionfalling/lightpose
pytorch
GitHub 中提及
megvii-detection/MSPN
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| keypoint-detection-on-coco | MSPN(384x288) | Test AP: 76.1 |
| keypoint-detection-on-coco-test-challenge | MSPN+* | AP: 76.4 AP50: 92.9 AP75: 82.6 APL: 88.6 AR: 82.2 AR50: 96 AR75: 87.7 ARL: 83.2 ARM: 77.5 |
| keypoint-detection-on-coco-test-dev | MSPN | AP: 76.1 AP50: 93.4 AP75: 83.8 APL: 81.5 APM: 72.3 AR: 81.6 AR50: 96.3 AR75: 88.1 ARL: 87.1 ARM: 77.5 |
| pose-estimation-on-coco-minival | MSPN | AP: 75.9 |
| pose-estimation-on-coco-test-dev | MSPN | AP: 76.1 AP50: 93.4 AP75: 83.8 APL: 81.5 APM: 72.3 AR: 81.6 |
| pose-estimation-on-mpii-human-pose | MSPN | PCKh-0.5: 92.6 |