摘要

本文提出了一种简单而有效的方法，用于从多视角图像中估计多人的三维姿态。我们所提出的粗到精（coarse-to-fine）框架首先将来自多个相机视角的噪声2D观测结果聚合到三维空间中，随后基于一种考虑置信度的多数投票机制，将这些观测结果关联为独立个体实例。最终的姿态估计通过一种新颖的优化策略获得，该策略将高置信度的多视角2D观测与三维关节候选点进行关联。此外，我们引入了如SMPL等统计参数化人体模型作为三维关节候选点的正则化先验。具体而言，三维姿态与SMPL模型参数采用交替优化的方式联合优化。在此过程中，参数化模型有助于修正不合理的三维姿态估计并填补缺失的关节检测结果，而更新后的三维姿态又反过来促进更优的SMPL参数估计。通过有效连接2D与3D观测信息，本方法在保持高精度的同时具备良好的泛化能力，因其能更好地解耦最终三维姿态与人与人之间的空间构型关系，并对2D检测中的噪声具有更强的鲁棒性。我们在公开数据集上对方法进行了系统性评估，结果表明其达到了当前最优的性能水平。代码与演示视频将发布于项目主页：https://ait.ethz.ch/projects/2021/multi-human-pose/。