摘要

遮挡是野外环境下人体姿态估计面临的最大挑战之一。传统方法通常依赖于侵入式传感器（如惯性测量单元IMU）来检测被遮挡的关节点。为实现真正无约束的解决方案，我们提出AdaFuse——一种自适应多视角融合方法，能够通过利用可见视角中的特征来增强被遮挡视角的特征表示。AdaFuse的核心在于准确建立两个视角之间的点对点对应关系，我们通过挖掘热图表示的稀疏性特征，高效地解决了该问题。此外，我们为每个相机视角学习自适应融合权重，以反映其特征质量，从而降低优质特征被“劣质”视角特征不当干扰的风险。该融合模型与姿态估计网络端到端联合训练，可直接应用于新的摄像头配置，无需额外调整。我们在三个公开数据集（Human3.6M、Total Capture和CMU Panoptic）上进行了广泛评估，结果表明，该方法在所有数据集上均优于现有最先进方法。此外，我们还构建了一个大规模合成数据集Occlusion-Person，该数据集为图像中每个关节点提供了明确的遮挡标签，从而支持对遮挡关节点的定量评估。相关数据集与代码已开源，地址为：https://github.com/zhezh/adafuse-3d-human-pose。