3 个月前

重新思考关键点表示:将关键点与姿态建模为对象用于多人人体姿态估计

重新思考关键点表示:将关键点与姿态建模为对象用于多人人体姿态估计

摘要

在人体姿态估计等关键点估计任务中,基于热图的回归方法虽占据主导地位,但仍存在显著缺陷:热图固有地存在量化误差,且生成与后处理过程需要大量计算开销。为寻求更高效的解决方案,我们提出将单个关键点以及空间上相关的关键点集合(即姿态)建模为密集单阶段锚框检测框架中的“目标”对象。因此,我们将该方法命名为 KAPAO(发音为“Ka-Pow”),意为“关键点与姿态作为目标”。KAPAO 通过在单阶段多人群体姿态估计任务中,同时检测人体姿态与关键点对象,并融合两类检测结果,从而充分利用两种表示方式的优势。实验结果表明,相较于以往依赖热图后处理的方法,KAPAO 在速度与精度上均表现更优,尤其在不使用测试时增强(test-time augmentation)的实际应用场景中,其精度-速度权衡表现尤为出色。源代码地址:https://github.com/wmcnally/kapao。

代码仓库

wmcnally/kapao
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
pose-estimation-on-coco-test-devKAPAO-L
AP: 70.3
AP50: 91.2
AP75: 77.8
APL: 76.8
APM: 66.3
AR: 77.7
pose-estimation-on-coco-test-devKAPAO-S
AP: 63.8
AP50: 88.4
AP75: 70.4
APL: 71.7
APM: 58.6
AR: 71.2
pose-estimation-on-coco-test-devKAPAO-M
AP: 68.8
AP50: 90.5
AP75: 76.5
APL: 76
APM: 64.3
AR: 76.3
pose-estimation-on-crowdposeKAPAO-S
AP: 63.8
AP50: 87.7
AP75: 69.4
APM: 64.8
Test: 72.1
pose-estimation-on-crowdposeKAPAO-M
AP: 67.1
AP50: 88.8
AP75: 73.4
APM: 68.1
Test: 75.2
pose-estimation-on-crowdposeKAPAO-L
AP: 68.9
AP50: 89.4
AP75: 75.6
APM: 69.9
Test: 76.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
重新思考关键点表示:将关键点与姿态建模为对象用于多人人体姿态估计 | 论文 | HyperAI超神经