
摘要
实例级人体分析在现实场景中十分常见,具有多种表现形式,如人体部位分割、密集姿态估计、人与物体的交互等。模型需要在图像面板中区分不同的个体,并学习丰富的特征以表示每个个体的细节。本文提出了一种端到端的管道,用于解决实例级人体分析问题,命名为解析R-CNN(Parsing R-CNN)。该方法通过全面考虑基于区域的方法的特性和人体外观,同时处理一组人体实例,从而能够表示实例的细节。解析R-CNN非常灵活且高效,适用于许多人体实例分析的问题。我们的方法在CIHP(人群实例级人体解析)、MHP v2.0(多人体解析)和DensePose-COCO数据集上均优于所有现有最先进方法。基于所提出的解析R-CNN,我们在COCO 2018挑战赛的密集姿态估计任务中获得了第一名。代码和模型均已公开。
代码仓库
soeaver/RP-R-CNN
pytorch
GitHub 中提及
soeaver/Parsing-R-CNN
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| human-part-segmentation-on-cihp | Parsing R-CNN + ResNext101 | Mean IoU: 61.1 |
| human-part-segmentation-on-mhp-v20 | Parsing R-CNN + ResNext101 | Mean IoU: 41.8 |
| pose-estimation-on-densepose-coco | Parsing R-CNN + ResNext101 | AP: 61.6 |