摘要

我们提出了两种基于新的可学习三角测量方法的多视角3D人体姿态估计的新解决方案，这些方法结合了多个2D视图中的3D信息。第一个（基准）解决方案是一种基本的可微分代数三角测量方法，增加了从输入图像中估计出的置信权重。第二个解决方案则基于一种新颖的从中间2D骨干特征图进行体积聚合的方法。聚合后的体积通过3D卷积进一步优化，生成最终的3D关节热图，并允许建模人体姿态先验。重要的是，这两种方法都是端到端可微分的，这使得我们可以直接优化目标度量。我们在不同数据集之间展示了这些解决方案的可迁移性，并在Human3.6M数据集上显著提升了多视角状态下的技术水平。视频演示、注释和额外材料将发布在我们的项目页面上（https://saic-violet.github.io/learnable-triangulation）。