4 个月前

人体姿态估计的校准

人体姿态估计的校准

摘要

大多数2D人体姿态估计框架以一种临时的方式估算关键点置信度,通常使用最大热图值等启发式方法。置信度是评估方案的一部分,例如用于MSCOCO数据集的平均精度(AP),但在最先进的方法开发中却常常被忽视。本文首次探讨了姿态估计中的校准问题。从校准的角度来看,置信度应与姿态准确性保持一致。然而,在实际应用中,现有的方法校准效果较差。我们通过理论分析揭示了为何存在校准差距以及如何缩小这一差距。仅仅预测实例大小并调整置信度函数就能显著提高AP值。然而,由于深度神经网络的黑箱特性,仅靠闭式调整无法完全消除这一差距。因此,我们进一步采取措施,通过强制置信度与姿态准确性之间的一致性来学习特定网络的调整方法。我们提出的校准置信度网络(Calibrated ConfidenceNet, CCNet)是一种轻量级的后处理模块,能够在现成的姿态估计框架上将AP值提升高达1.4%。在应用于下游任务如网格恢复时,CCNet还能使3D关键点误差额外减少1.0毫米。

基准测试

基准方法指标
pose-estimation-on-coco-test-devCCNet (ViTPose)
AP: -
AP50: -
AP75: -
APL: -
APM: -
AR: -
pose-estimation-on-coco-val2017CCNet (ViTPose-B_GT-bbox_256x192)
AP: 78.1
AP50: 93.7
AP75: 85.0
AR: 80.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
人体姿态估计的校准 | 论文 | HyperAI超神经