4 个月前

HigherHRNet:面向尺度的人体姿态估计自底向上表示学习

HigherHRNet:面向尺度的人体姿态估计自底向上表示学习

摘要

自下而上的人体姿态估计方法在预测小人物的正确姿态时存在困难,主要是由于尺度变化带来的挑战。本文提出了一种新的自下而上人体姿态估计方法——HigherHRNet,该方法通过高分辨率特征金字塔学习尺度感知表示。该方法在训练过程中采用了多分辨率监督,并在推理过程中进行了多分辨率聚合,从而能够解决自下而上多人姿态估计中的尺度变化问题,并更精确地定位关键点,特别是对于小人物。HigherHRNet 的特征金字塔由 HRNet 输出的特征图和通过转置卷积上采样的更高分辨率输出组成。在 COCO 测试开发集上,HigherHRNet 在中等人物的姿态估计方面比之前的最佳自下而上方法提高了 2.5% 的平均精度(AP),显示出其在处理尺度变化方面的有效性。此外,HigherHRNet 在不使用细化或其他后处理技术的情况下,在 COCO 测试开发集上达到了新的最先进水平(70.5% AP),超越了所有现有的自下而上方法。甚至在 CrowdPose 测试集上,HigherHRNet 也超过了所有自顶向下方法(67.6% AP),表明其在拥挤场景中的鲁棒性。代码和模型可在 https://github.com/HRNet/Higher-HRNet-Human-Pose-Estimation 获取。

代码仓库

ducongju/HRNet
pytorch
GitHub 中提及
AlongRide/Py3torch_HigherHRNet
pytorch
GitHub 中提及
laowang666888/HRNET
pytorch
GitHub 中提及
xn1997/HigherHRnet
pytorch
GitHub 中提及
gox-ai/hrnet-pose-api
pytorch
GitHub 中提及
visionNoob/hrnet_pytorch
pytorch
GitHub 中提及
Darius-Liesis/HRNet-works
pytorch
GitHub 中提及
abhi1kumar/hrnet_pose_single_gpu
pytorch
GitHub 中提及
LiuShenLan/HRNet
pytorch
GitHub 中提及
HRNet/Higher-HRNet-Human-Pose-Estimation
官方
pytorch
GitHub 中提及
sdll/hrnet-pose-estimation
pytorch
GitHub 中提及
anshky/HR-NET
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-person-pose-estimation-on-coco-test-devHigherHRNet (HR-Net-48)
AP: 70.5
AP50: 89.3
AP75: 77.2
APL: 75.8
APM: 66.6
multi-person-pose-estimation-on-crowdposeHigherHRNet(HR-Net-48)
AP Easy: 75.8
AP Hard: 58.9
AP Medium: 68.1
FPS: -
mAP @0.5:0.95: 67.6
pose-estimation-on-uav-humanHigherHRNet
mAP: 56.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HigherHRNet:面向尺度的人体姿态估计自底向上表示学习 | 论文 | HyperAI超神经