4 个月前

多假设3D人体姿态估计指标偏爱校准不良的分布

多假设3D人体姿态估计指标偏爱校准不良的分布

摘要

由于深度模糊性和遮挡问题,将二维姿态提升为三维是一个高度不适定的问题。合理校准的姿态分布可以明确这些模糊性,并在后续任务中保留由此产生的不确定性。本研究指出,以往通过生成多个假设来解决这些模糊性的尝试产生了未校准的分布。我们发现,这种未校准现象可归因于使用基于样本的度量指标(如最小关节位置误差 minMPJPE)。通过一系列模拟实验,我们表明,通常做法是最小化 minMPJPE,这应该收敛到正确的均值预测。然而,这种方法未能正确捕捉不确定性,从而导致分布未校准。为了缓解这一问题,我们提出了一种准确且校准良好的模型——条件图归一化流(Conditional Graph Normalizing Flow, cGNFs)。我们的模型结构设计使得单个 cGNF 可以在同一模型内估计条件密度和边缘密度——有效地解决了零样本密度估计问题。我们在 Human3.6M 数据集上评估了 cGNF,并展示了 cGNF 在提供良好校准的分布估计的同时,在整体 minMPJPE 方面接近最先进水平。此外,cGNF 在处理遮挡关节时优于先前方法,并且仍然保持良好的校准性能。

代码仓库

sinzlab/cgnf
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-hypotheses-3d-human-pose-estimation-oncGNF xlarge w Lsample
Average MPJPE (mm): 48.5
multi-hypotheses-3d-human-pose-estimation-oncGNF w Lsample
Average MPJPE (mm): 53
Average MPJPE (mm) for occluded Joints: 41.8
Expected Calibration Error: 0.08

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多假设3D人体姿态估计指标偏爱校准不良的分布 | 论文 | HyperAI超神经