
摘要
针对基于单目RGB图像的3D姿态与形状估计问题,由于遮挡和截断等因素,通常存在多个可行解。本文提出一种多假设概率框架,通过优化数据分布与模型分布之间的Kullback-Leibler散度(KLD)来实现。我们的方法揭示了姿态熵与多假设之间多样性之间的关联,这一关系此前在相关研究中被忽视。为实现全面评估,除了传统的最优假设(Best Hypothesis, BH)指标外,我们进一步引入可见性(visibility)作为评估多样性的考量因素。此外,本框架具有标签友好性,能够仅基于部分可见的2D关键点进行训练,无需完整标注。在具有挑战性的模糊数据集和真实世界基准上的实验表明,本方法在综合评估中优于现有的其他先进多假设方法。项目主页详见:https://gloryyrolg.github.io/MHEntropy。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-hypotheses-3d-human-pose-estimation-on | MHEntropy | Average PMPJPE (mm): 36.8 |
| multi-hypotheses-3d-human-pose-estimation-on-2 | MHEntropy (3D) | Best-Hypothesis MPJPE (n = 25): - Best-Hypothesis PMPJPE (n = 25): 50.6 H36M PMPJPE (n = 1): - H36M PMPJPE (n = 25): 36.8 Most-Likely Hypothesis PMPJPE (n = 1): - |
| multi-hypotheses-3d-human-pose-estimation-on-2 | MHEntropy (2D Vis) | Best-Hypothesis MPJPE (n = 25): - Best-Hypothesis PMPJPE (n = 25): 66.4 H36M PMPJPE (n = 1): - H36M PMPJPE (n = 25): 51.3 Most-Likely Hypothesis PMPJPE (n = 1): - |