摘要

在本文中，我们研究了卷积神经网络在稀疏输入上的应用，特别是从稀疏激光扫描数据中进行深度上采样。首先，我们展示了传统的卷积网络在应用于稀疏数据时表现不佳，即使网络已知缺失数据的位置。为了解决这一问题，我们提出了一种简单而有效的稀疏卷积层，在卷积操作过程中显式地考虑了缺失数据的位置。通过合成实验和真实实验，我们展示了所提出的网络架构相对于各种基线方法的优势。与密集基线相比，所提出的稀疏卷积网络对新数据集具有良好的泛化能力，并且对数据中的稀疏程度具有不变性。为了评估我们的方法，我们从KITTI基准测试中派生了一个新的数据集，包含93,000张带有深度注释的RGB图像。该数据集允许在具有挑战性的现实场景中训练和评估深度上采样及深度预测技术，并将在论文发表后公开提供。