摘要

姿态估计在以人为中心的视觉应用中发挥着关键作用。然而，由于计算成本高（每帧超过150亿次乘加运算），最先进的基于HRNet的姿态估计模型难以部署在资源受限的边缘设备上。本文研究了适用于边缘设备实时多人姿态估计的有效架构设计。通过我们的逐步缩小实验，我们发现对于低计算量区域的模型而言，HRNet的高分辨率分支是冗余的。移除这些分支可以同时提高效率和性能。受此发现启发，我们设计了一种高效的单分支姿态估计架构——LitePose，并引入了两种简单的方法来增强LitePose的能力，包括融合反卷积头（Fusion Deconv Head）和大核卷积（Large Kernel Convs）。融合反卷积头消除了高分辨率分支中的冗余，使得具有较低开销的比例感知特征融合成为可能。大核卷积在保持低计算成本的同时显著提高了模型的能力和感受野。仅增加25%的计算量，7x7核在CrowdPose数据集上的表现比3x3核高出14.0 mAP。在移动平台上，与先前最高效的姿态估计模型相比，LitePose在不牺牲性能的情况下最多可减少5.0倍的延迟，推动了边缘设备上实时多人姿态估计的前沿发展。我们的代码和预训练模型已发布在https://github.com/mit-han-lab/litepose。