
摘要
本文研究了二维全身人体姿态估计任务,该任务旨在精确定位人体全身(包括躯干、脚部、面部和手部)的密集关键点。为此,我们提出了一种单网络架构——ZoomNet,以充分考虑人体结构的层次性,并有效应对不同身体部位之间的尺度变化问题。为进一步提升全身姿态估计的精度与效率,我们进一步提出了一种神经架构搜索框架——ZoomNAS。ZoomNAS能够联合搜索模型架构以及各子模块之间的连接方式,并自动为所搜索到的子模块分配相应的计算复杂度。为训练和评估ZoomNAS,我们首次构建了一个大规模的二维人体全身数据集——COCO-WholeBody V1.0,该数据集对真实场景图像中的133个关键点进行了标注。大量实验结果验证了ZoomNAS的有效性,以及COCO-WholeBody V1.0数据集的重要意义。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 2d-human-pose-estimation-on-coco-wholebody-1 | ZoomNet (V1.0 data) | WB: 63.0 body: 74.5 face: 88.0 foot: 60.9 hand: 57.9 |
| 2d-human-pose-estimation-on-coco-wholebody-1 | ZoomNAS (V1.0 data) | WB: 65.4 body: 74.0 face: 88.9 foot: 61.7 hand: 62.5 |