摘要

我们提出UPose3D，一种新型的多视角3D人体姿态估计方法，旨在解决现有方法在精度与可扩展性方面的挑战。该方法通过提升现有姿态估计框架的鲁棒性与灵活性，实现了无需依赖直接3D标注的高性能3D姿态估计。其核心在于引入一个姿态编译（pose compiler）模块，该模块利用时间上下文信息与跨视角信息，对单张图像上的2D关键点估计器输出进行优化与细化。我们提出的新型跨视角融合策略具有良好的可扩展性，可适用于任意数量的摄像机配置；同时，基于合成数据生成的策略有效保障了模型在不同人物、场景和视角下的泛化能力。此外，UPose3D还融合了2D关键点估计器与姿态编译模块的预测不确定性，显著增强了对异常值和噪声数据的鲁棒性，从而在分布外（out-of-distribution）场景下实现了当前最优的性能表现。在分布内（in-distribution）场景下，UPose3D的性能可与依赖3D标注数据的方法相媲美，同时在仅依赖2D监督信号的方法中处于领先地位。