摘要

单目深度估计是场景理解中的一个重要任务。复杂场景中物体和背景的底层结构对于恢复准确且视觉效果良好的深度图至关重要。全局结构传达了场景布局，而局部结构反映了形状细节。基于卷积神经网络（CNN）的最新方法显著提高了深度估计的性能。然而，很少有方法考虑到复杂场景中的多尺度结构。在本文中，我们提出了一种结构感知残差金字塔网络（Structure-Aware Residual Pyramid Network, SARPN），以利用多尺度结构进行精确的深度预测。我们设计了一个残差金字塔解码器（Residual Pyramid Decoder, RPD），该解码器在较高层次上表达全局场景结构以表示布局，在较低层次上表达局部结构以呈现形状细节。在每个层次上，我们引入了残差细化模块（Residual Refinement Module, RRM），这些模块预测残差图，逐步在较高层次预测的粗略结构上添加更精细的结构。为了充分利用多尺度图像特征，我们引入了一个自适应密集特征融合（Adaptive Dense Feature Fusion, ADFF）模块，该模块自适应地融合来自所有尺度的有效特征，以推断每个尺度的结构。实验结果表明，在具有挑战性的NYU-Depth v2数据集上，我们提出的方法在定性和定量评估中均达到了最先进的性能。代码可在https://github.com/Xt-Chen/SARPN获取。