
摘要
我们重新思考了一种经典的自下而上(bottom-up)多人姿态估计方法,并提出了一种改进方案。该改进方法在多个方面显著优于基线模型,主要得益于以下四点:(1)提出了一种直观且更具合理性的表示方式,我们称之为“身体部件”(body parts),用于编码关键点之间的关联信息;(2)设计了一种引入注意力机制的改进型堆叠沙漏网络(stacked hourglass network);(3)提出一种新颖的焦点L2损失函数(focal L2 loss),专门用于挖掘困难关键点及关键点关联(即身体部件);(4)采用一种鲁棒的贪心关键点分配算法,将检测到的关键点高效地分组为个体姿态。该方法不仅实现过程简洁直接,而且在平均精度(average precision)上较基线方法提升约15%,在MS-COCO test-dev数据集上的表现也达到了当前先进水平。相关代码与预训练模型已公开发布于网络。
代码仓库
diamondto/IBP
pytorch
GitHub 中提及
hellojialee/OffsetGuided
pytorch
osmr/imgclsmob
mxnet
GitHub 中提及
hellojialee/Improved-Body-Parts
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| keypoint-detection-on-coco-test-dev | Simple Pose | AP: 68.1 APL: 70.5 APM: 66.8 AR: 72.1 AR50: 88.2 |
| multi-person-pose-estimation-on-coco-test-dev | Identity Mapping Hourglass | AP: 68.1 APL: 70.5 APM: 66.8 AR: 72.1 AR50: 88.2 |
| pose-estimation-on-coco-test-dev | Simple Pose | AP: 68.1 APL: 70.5 APM: 66.8 AR: 88.2 |