4 个月前

单阶段多人姿态机

单阶段多人姿态机

摘要

多人姿态估计是一个具有挑战性的问题。现有的方法大多基于两阶段流程——一个阶段用于生成候选区域,另一个阶段用于将姿态分配给相应的人。然而,这种两阶段方法通常效率较低。在本工作中,我们提出了首个单阶段模型——单阶段多人姿态机(Single-stage multi-person Pose Machine, SPM),以简化流程并提高多人姿态估计的效率。为此,我们提出了一种新颖的结构化姿态表示(Structured Pose Representation, SPR),该表示统一了人物实例和身体关节位置的表示。基于SPR,我们开发了SPM模型,该模型可以在单个阶段直接预测多个人员的结构化姿态,从而提供比两阶段方法更为紧凑的流程和显著的效率优势。具体而言,SPR引入了根关节来标识不同的人员实例,并将人体关节位置编码为其相对于根关节的位移。为了更好地预测某些关节的远距离位移,SPR进一步扩展为分层表示。基于SPR,SPM可以通过卷积神经网络(CNNs)同时预测根关节(实例的位置)和身体关节位移,从而高效地进行多人姿态估计。此外,为了展示SPM的通用性,我们还将该模型应用于多人3D姿态估计。我们在基准数据集MPII、扩展PASCAL-Person-Part、MSCOCO和CMU Panoptic上进行了全面实验,结果清楚地表明了SPM在多人2D/3D姿态估计中的最先进效率,并且其准确性也非常出色。

基准测试

基准方法指标
keypoint-detection-on-mpii-multi-personSPM
mAP@0.5: 78.5%
multi-person-pose-estimation-on-coco-test-devSPM
AP: 66.9
AP50: 88.5
AP75: 72.9
APL: 73.1
APM: 62.6
multi-person-pose-estimation-on-crowdposeSPM
AP Easy: 70.3
AP Hard: 55.7
AP Medium: 64.5
mAP @0.5:0.95: 63.7
multi-person-pose-estimation-on-mpii-multiSPM
AP: 78.5%
multi-person-pose-estimation-on-ochumanSPM
AP50: 67.5
AP75: 53.2
Validation AP: 47.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
单阶段多人姿态机 | 论文 | HyperAI超神经