摘要

我们提出了一种从图像和稀疏深度测量中推断稠密深度图的方法。该方法利用合成数据学习稀疏点云与稠密自然形状之间的关联，并以图像作为证据来验证预测的深度图。我们所学习的自然形状先验仅以稀疏深度作为输入，而非图像，因此在将合成数据中学习到的模型迁移至真实数据时，不会受到协变量偏移（covariate shift）的影响。这一特性使我们能够充分利用大量带有真实标签的合成数据，来学习重建过程中最困难的环节——拓扑结构估计，并结合图像中的光度证据对预测结果进行精细化优化。与以往方法相比，本方法参数更少，却在室内与室外基准数据集上均达到了当前最优性能。代码已开源，地址为：https://github.com/alexklwong/learning-topology-synthetic-data。