摘要

单目深度估计的成功依赖于大规模且多样化的训练集。由于在不同环境中大规模获取密集的真实深度数据存在诸多挑战，因此出现了多个具有独特特性和偏差的数据集。我们开发了工具，使得在训练过程中可以混合使用多个数据集，即使它们的注释不兼容也能实现。具体而言，我们提出了一种对深度范围和尺度变化具有不变性的鲁棒训练目标，倡导使用基于原则的多目标学习来整合来自不同来源的数据，并强调了在辅助任务上预训练编码器的重要性。借助这些工具，我们在五个不同的训练数据集上进行了实验，其中包括一个新的大规模数据源：3D电影。为了展示我们的方法的泛化能力，我们采用了零样本跨数据集迁移（zero-shot cross-dataset transfer），即在未见过的测试数据集上进行评估。实验结果证实，从互补来源混合数据显著提高了单目深度估计的性能。我们的方法在多种数据集上的表现明显优于竞争方法，为单目深度估计设定了新的技术标杆。部分结果展示在补充视频中，链接为：https://youtu.be/D46FzVyL9I8