摘要

我们提出了一种通过从非刚性结构运动（Non-Rigid Structure from Motion, NRSfM）中提取知识来学习3D姿态估计器的方法。该方法仅使用2D地标注，无需3D数据、多视图/时间序列视频或特定对象的先验知识。这缓解了监督方法中的数据瓶颈问题，这是监督方法的主要关注点之一。使用NRSfM作为教师模型的挑战在于，当2D投影具有强烈模糊性时，它们通常会生成较差的深度重建结果。直接将这些错误的深度值用作硬目标会对学生模型产生负面影响。因此，我们提出了一种新颖的损失函数，将深度预测与NRSfM中使用的成本函数联系起来。这使得学生姿态估计器可以通过关联图像特征来减少深度误差。在H3.6M数据集上的验证表明，我们的学习3D姿态估计网络相比NRSfM方法实现了更准确的重建结果。尽管使用的监督信息显著较少，但其性能仍优于其他弱监督方法。