摘要

深度补全（Depth Completion）是指在给定对应彩色图像的情况下，将稀疏深度图转换为密集深度图的问题。卷积空间传播网络（Convolutional Spatial Propagation Network, CSPN）是当前最先进的深度补全方法之一，能够恢复场景的结构细节。本文提出了一种改进方法——CSPN++，通过学习自适应卷积核大小和传播迭代次数，进一步提高了其有效性和效率，从而可以根据需要动态分配每个像素所需的上下文和计算资源。具体而言，我们将这两个超参数的学习问题形式化为架构选择问题，首先定义了不同配置的卷积核大小和迭代次数，然后训练一组软权重参数，在每个像素处要么适当地组装这些预定义配置，要么从中进行选择。实验结果表明，加权组装可以显著提高精度，我们称之为“上下文感知CSPN”；而加权选择，“资源感知CSPN”则可以在保持相似或更高精度的同时显著减少计算资源需求。此外，CSPN++的资源需求可以根据计算预算自动调整。最后，为了避免噪声或不准确的稀疏深度带来的副作用，我们在CSPN++中嵌入了一个门控网络，进一步提升了性能。我们在KITTI深度补全基准上展示了CSPN++的有效性，在该基准上它显著优于CSPN和其他最先进的方法。