摘要

在这项工作中，我们提出了一种自监督学习框架，用于同时训练两个卷积神经网络（CNNs），以从单张图像中预测深度和表面法线。与大多数现有框架将室外场景表示为分段平滑深度的正平行平面不同，我们建议在假设自然场景具有分段平滑法线的情况下预测深度和表面方向。我们证明了对预测结果施加简单的深度-法线一致性作为软约束，足以有效同时训练这两个网络。经过训练的法线网络提供了最先进的预测结果，而依赖于更加现实的平滑法线假设的深度网络，在KITTI基准测试中大幅超越了传统的自监督深度预测网络。演示视频：https://youtu.be/ZD-ZRsw7hdM