
摘要
在人体姿态估计等关键点估计任务中,基于热图的回归方法虽占据主导地位,但仍存在显著缺陷:热图固有地存在量化误差,且生成与后处理过程需要大量计算开销。为寻求更高效的解决方案,我们提出将单个关键点以及空间上相关的关键点集合(即姿态)建模为密集单阶段锚框检测框架中的“目标”对象。因此,我们将该方法命名为 KAPAO(发音为“Ka-Pow”),意为“关键点与姿态作为目标”。KAPAO 通过在单阶段多人群体姿态估计任务中,同时检测人体姿态与关键点对象,并融合两类检测结果,从而充分利用两种表示方式的优势。实验结果表明,相较于以往依赖热图后处理的方法,KAPAO 在速度与精度上均表现更优,尤其在不使用测试时增强(test-time augmentation)的实际应用场景中,其精度-速度权衡表现尤为出色。源代码地址:https://github.com/wmcnally/kapao。
代码仓库
wmcnally/kapao
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| pose-estimation-on-coco-test-dev | KAPAO-L | AP: 70.3 AP50: 91.2 AP75: 77.8 APL: 76.8 APM: 66.3 AR: 77.7 |
| pose-estimation-on-coco-test-dev | KAPAO-S | AP: 63.8 AP50: 88.4 AP75: 70.4 APL: 71.7 APM: 58.6 AR: 71.2 |
| pose-estimation-on-coco-test-dev | KAPAO-M | AP: 68.8 AP50: 90.5 AP75: 76.5 APL: 76 APM: 64.3 AR: 76.3 |
| pose-estimation-on-crowdpose | KAPAO-S | AP: 63.8 AP50: 87.7 AP75: 69.4 APM: 64.8 Test: 72.1 |
| pose-estimation-on-crowdpose | KAPAO-M | AP: 67.1 AP50: 88.8 AP75: 73.4 APM: 68.1 Test: 75.2 |
| pose-estimation-on-crowdpose | KAPAO-L | AP: 68.9 AP50: 89.4 AP75: 75.6 APM: 69.9 Test: 76.6 |