3 个月前

MHEntropy:熵与多重假设结合用于姿态与形状恢复

MHEntropy:熵与多重假设结合用于姿态与形状恢复

摘要

针对基于单目RGB图像的3D姿态与形状估计问题,由于遮挡和截断等因素,通常存在多个可行解。本文提出一种多假设概率框架,通过优化数据分布与模型分布之间的Kullback-Leibler散度(KLD)来实现。我们的方法揭示了姿态熵与多假设之间多样性之间的关联,这一关系此前在相关研究中被忽视。为实现全面评估,除了传统的最优假设(Best Hypothesis, BH)指标外,我们进一步引入可见性(visibility)作为评估多样性的考量因素。此外,本框架具有标签友好性,能够仅基于部分可见的2D关键点进行训练,无需完整标注。在具有挑战性的模糊数据集和真实世界基准上的实验表明,本方法在综合评估中优于现有的其他先进多假设方法。项目主页详见:https://gloryyrolg.github.io/MHEntropy。

基准测试

基准方法指标
multi-hypotheses-3d-human-pose-estimation-onMHEntropy
Average PMPJPE (mm): 36.8
multi-hypotheses-3d-human-pose-estimation-on-2MHEntropy (3D)
Best-Hypothesis MPJPE (n = 25): -
Best-Hypothesis PMPJPE (n = 25): 50.6
H36M PMPJPE (n = 1): -
H36M PMPJPE (n = 25): 36.8
Most-Likely Hypothesis PMPJPE (n = 1): -
multi-hypotheses-3d-human-pose-estimation-on-2MHEntropy (2D Vis)
Best-Hypothesis MPJPE (n = 25): -
Best-Hypothesis PMPJPE (n = 25): 66.4
H36M PMPJPE (n = 1): -
H36M PMPJPE (n = 25): 51.3
Most-Likely Hypothesis PMPJPE (n = 1): -

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MHEntropy:熵与多重假设结合用于姿态与形状恢复 | 论文 | HyperAI超神经