摘要

全身姿态估计是一项具有挑战性的任务，需要同时预测人体各个部位的关键点，包括身体、手部、面部和足部。该任务旨在获取人体的细粒度姿态信息，涵盖面部、躯干、双手及双脚，对于以人为中心的感知与生成研究以及多种实际应用具有重要意义。本文提出RTMW（Real-Time Multi-person Whole-body pose estimation models）——一系列高性能的2D/3D全身姿态估计模型。我们基于RTMPose模型架构，融合特征金字塔网络（FPN）与分层编码模块（HEM, Hierarchical Encoding Module），以更有效地捕捉不同尺度下各身体部位的姿态信息。模型在大量开源人体关键点数据集上进行训练，这些数据集均配有手工对齐的标注，并通过两阶段知识蒸馏策略进一步优化性能。RTMW在多个全身姿态估计基准测试中展现出卓越的性能，同时保持了高效的推理速度和良好的部署友好性。我们发布了三种尺寸的模型：m/l/x，其中RTMW-l在COCO-Wholebody基准上取得了70.2 mAP的优异成绩，成为首个在该基准上突破70 mAP的开源模型。此外，我们还探索了RTMW在3D全身姿态估计任务中的表现，采用基于坐标分类的方法实现了基于单目图像的3D全身姿态估计。我们期望本工作能为学术研究与工业应用提供有力支持。相关代码与模型已公开发布于：https://github.com/open-mmlab/mmpose/tree/main/projects/rtmpose