摘要

对于单目360度图像而言，深度估计具有挑战性，因为畸变程度随纬度增加而加剧。为感知这种畸变，现有方法通常致力于设计深度复杂且结构庞大的网络架构。本文提出一种新视角，构建了一种可解释且稀疏的360度图像表示方法。考虑到几何结构在深度估计中的关键作用，我们采用轮廓波变换（contourlet transform）在频域中捕捉显式的几何特征，并将其与空间域中的隐式特征相融合。具体而言，我们提出一种神经轮廓波网络（Neural Contourlet Network），该网络由卷积神经网络分支与轮廓波变换分支组成。在编码器阶段，我们设计了一个空间-频域融合模块，以高效融合两类特征。与编码器相反，在解码器阶段，我们采用可学习的低通子带与带通方向子带进行逆轮廓波变换，从而重构深度图。在三个主流全景图像数据集上的实验结果表明，所提方法在性能上优于现有最先进方法，且具有更快的收敛速度。代码已开源，地址为：https://github.com/zhijieshen-bjtu/Neural-Contourlet-Network-for-MODE。