3 个月前

面向人体姿态估计的分布感知坐标表示

面向人体姿态估计的分布感知坐标表示

摘要

尽管热图(heatmap)在人体姿态估计中已成为事实上的标准坐标表示方式,但据我们所知,学术界尚未对其开展系统性研究。本文填补了这一空白,聚焦于热图这一坐标表示形式展开深入探讨。令人意外的是,我们发现将预测热图解码为原始图像空间中最终关节点坐标的过程,对人体姿态估计的性能具有出人意料的重要影响,而这一关键因素此前并未受到足够重视。基于该发现,我们进一步分析了现有方法广泛采用的标准坐标解码方式在设计上的局限性,并提出了一种更为合理、具有分布感知能力的新型解码方法。同时,我们通过生成更精确的热图分布,改进了标准的坐标编码过程(即从真实关节点坐标生成热图),以实现无偏的模型训练。结合上述两方面改进,我们提出了一种全新的关键点坐标表示方法——分布感知关键点表示(Distribution-Aware Coordinate Representation of Keypoint, DARK)。作为一种与模型无关的即插即用模块,DARK显著提升了多种先进人体姿态估计模型的性能。大量实验结果表明,DARK在MPII和COCO两个主流基准上均取得了最佳表现,充分验证了我们所提出的新型坐标表示方法的有效性与实用性。

代码仓库

基准测试

基准方法指标
keypoint-detection-on-cocoDarkPose(384x288)
Test AP: 76.2
multi-person-pose-estimation-on-cocoDarkPose
AP: 0.774
pose-estimation-on-coco-test-devHRNet-W48+DARK
AP: 77.4
AP50: 92.6
AP75: 84.6
APL: 83.7
APM: 73.6
AR: 82.3
pose-estimation-on-mpii-human-poseDarkPose
PCKh-0.5: 90.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向人体姿态估计的分布感知坐标表示 | 论文 | HyperAI超神经