摘要

在本文中，我们提出了我们的相关性补全网络（Correlation For Completion Network，简称CFCNet），这是一种端到端的深度学习模型，利用两个数据源之间的相关性来执行稀疏深度补全。CFCNet 学习最大限度地捕捉 RGB 和深度信息之间在语义上的相关特征。通过图像像素对和稀疏深度图中的可见测量值，CFCNet 实现了不同数据源在特征层面的相互转换。这种转换使 CFCNet 能够根据对应的、转换后的 RGB 特征预测并重建缺失的深度测量值。我们将经典的相关分析扩展到二维域，并将其作为我们的训练目标之一（即二维深度相关分析，或“2D2CCA 损失”）。大量实验验证了 CFCNet 在不同现实稀疏模式下的室内和室外场景中相对于现有最先进方法的能力和灵活性。代码可在以下地址获取：https://github.com/choyingw/CFCNet。