摘要

单目深度估计是三维场景理解和下游应用的基础。然而，即使在监督设置下，由于缺乏完整的几何约束，这一问题仍然具有挑战性和不确定性。尽管一个场景可能包含数百万个像素，但其中的高层次模式却较少。我们提出了iDisc方法，通过内部离散表示来学习这些模式。该方法隐式地将场景划分为一组高层次模式。特别是，我们的新模块——内部离散化（ID）模块，实现了一个连续-离散-连续的瓶颈结构，以无监督的方式学习这些概念。与现有方法不同的是，所提出的模型不对深度输出施加任何显式的约束或先验知识。得益于基于注意力机制的瓶颈模块，整个网络可以与ID模块一起端到端地训练。我们的方法在NYU-Depth v2和KITTI数据集上取得了显著改进，并在官方KITTI基准测试中超越了所有已发表的方法。iDisc在表面法线估计方面也能达到最先进的水平。此外，我们通过零样本测试探索了模型的泛化能力。我们观察到，在室外场景中促进多样性的迫切需求。因此，我们引入了两个自动驾驶数据集DDAD和Argoverse的数据切分。代码可在http://vis.xyz/pub/idisc 获取。