4 个月前

重新思考多阶段网络在人体姿态估计中的应用

重新思考多阶段网络在人体姿态估计中的应用

摘要

现有的姿态估计方法可以分为两类:单阶段方法和多阶段方法。尽管从理论上讲,多阶段方法似乎更适合这项任务,但在实际应用中,其性能却不如单阶段方法。本研究探讨了这一问题。我们认为,当前多阶段方法的不尽如人意的性能主要源于各种设计选择上的不足。为此,我们提出了一系列改进措施,包括单阶段模块设计、跨阶段特征聚合以及由粗到精的监督(coarse-to-fine supervision)。这些改进使得我们的方法在MS COCO和MPII人体姿态数据集上均达到了新的最先进水平,从而证明了多阶段架构的有效性。源代码已公开发布,供进一步研究使用。

代码仓库

chenyilun95/tf-cpn
tf
GitHub 中提及
fenglinglwb/MSPN
pytorch
GitHub 中提及
hyperionfalling/lightpose
pytorch
GitHub 中提及
megvii-detection/MSPN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
keypoint-detection-on-cocoMSPN(384x288)
Test AP: 76.1
keypoint-detection-on-coco-test-challengeMSPN+*
AP: 76.4
AP50: 92.9
AP75: 82.6
APL: 88.6
AR: 82.2
AR50: 96
AR75: 87.7
ARL: 83.2
ARM: 77.5
keypoint-detection-on-coco-test-devMSPN
AP: 76.1
AP50: 93.4
AP75: 83.8
APL: 81.5
APM: 72.3
AR: 81.6
AR50: 96.3
AR75: 88.1
ARL: 87.1
ARM: 77.5
pose-estimation-on-coco-minivalMSPN
AP: 75.9
pose-estimation-on-coco-test-devMSPN
AP: 76.1
AP50: 93.4
AP75: 83.8
APL: 81.5
APM: 72.3
AR: 81.6
pose-estimation-on-mpii-human-poseMSPN
PCKh-0.5: 92.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
重新思考多阶段网络在人体姿态估计中的应用 | 论文 | HyperAI超神经