3 个月前

细节见魔鬼:深入探究人体姿态估计中的无偏数据处理

细节见魔鬼:深入探究人体姿态估计中的无偏数据处理

摘要

在人类姿态估计领域,数据处理作为训练与推理中的基础环节,迄今为止尚未得到系统性关注,据我们所知是如此。本文聚焦于这一关键问题,发现人类姿态估计技术演进中的“魔鬼”正藏于有偏的数据处理之中。具体而言,通过对当前主流方法中标准数据处理流程的深入分析——主要包括坐标系变换与关键点格式变换(即编码与解码)——我们发现,常规的翻转增强策略在推理阶段所得结果与原始结果无法对齐。此外,部分关键点格式变换方法中存在统计偏差。这两个问题相互耦合,显著降低了姿态估计的性能,从而为研究社区设下了一个“陷阱”。这一陷阱催生了大量次优的补救措施,这些措施往往未被公开报告,虽令人困惑却影响深远。由于导致结果无法复现且比较不公平,这些未公开的补救手段严重阻碍了技术的健康发展。为从根源上解决这一困境,我们提出无偏数据处理(Unbiased Data Processing, UDP),针对上述两类问题分别设计了两项核心技术:无偏坐标系变换与无偏关键点格式变换。作为一种与模型无关的先进解决方案,UDP不仅有效突破了当前人类姿态估计的性能边界,还为研究社区提供了更高且更可靠的基准。相关代码已开源,地址为:https://github.com/HuangJunJie2017/UDP-Pose。

代码仓库

HuangJunJie2017/UDP-Pose
官方
mxnet
GitHub 中提及
mindspore-lab/mindone
mindspore
GitHub 中提及

基准测试

基准方法指标
pose-estimation-on-coco-test-devHRNet-W48+UDP
AP: 76.5
AP50: 92.7
AP75: 84
APL: 73.0
APM: 82.4
AR: 81.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
细节见魔鬼:深入探究人体姿态估计中的无偏数据处理 | 论文 | HyperAI超神经