摘要

我们提出了一种名为GeoNet的联合无监督学习框架，用于从视频中进行单目深度估计、光流估计和自我运动估计。该框架通过三维场景几何的固有特性将这三个组件耦合在一起，并以端到端的方式共同学习。具体而言，框架从各个模块的预测结果中提取几何关系，并将其组合为图像重建损失，分别对静态和动态场景部分进行推理。此外，我们提出了一种自适应几何一致性损失（adaptive geometric consistency loss），以提高对外部异常值和非朗伯区域（non-Lambertian regions）的鲁棒性，有效解决了遮挡和纹理模糊问题。在KITTI驾驶数据集上的实验表明，我们的方案在这三项任务中均达到了最先进的效果，性能优于以往的无监督方法，并且与有监督方法相当。