摘要

在本文中，我们提出了一种稳健且高效的端到端非局部空间传播网络，用于深度补全。所提出的网络以RGB图像和稀疏深度图像作为输入，估计每个像素的非局部邻域及其亲和力，并生成带有逐像素置信度的初始深度图。然后，通过基于预测的非局部邻域及其相应亲和力的置信度和非局部空间传播过程，对初始深度预测进行迭代优化。与以往利用固定局部邻域的算法不同，所提出的算法在传播过程中有效避免了无关的局部邻域，并集中于相关的非局部邻域。此外，我们引入了一种可学习的亲和力归一化方法，相比传统方法能更好地学习亲和力组合。该算法本质上对深度边界上的混合深度问题具有鲁棒性，这是现有深度估计/补全算法面临的主要问题之一。在室内和室外数据集上的实验结果表明，所提出的算法在深度补全精度和对混合深度问题的鲁棒性方面优于传统算法。我们的实现代码已在项目页面上公开提供。