摘要

立体视觉是一种在自动驾驶城市道路与高速公路场景中广泛应用且高效的深度估计技术。尽管已有多种基于深度学习的立体视觉方法被提出，但传统双目系统采用固定基线时，其输入数据存在局限性。为解决这一问题，本文提出一种端到端网络，用于处理三目视觉系统（trinocular setup）的数据，该系统由一个窄基线与一个宽基线的双目组合构成。在该设计中，两个具有共同参考图像的双目数据对通过共享网络权重并结合中层特征融合进行处理。此外，本文提出一种“引导相加”（Guided Addition）方法，用于融合两个不同基线的四维（4D）特征数据。同时，我们引入一种在真实数据与合成数据上迭代进行的序列式自监督与监督学习策略，使得三目系统训练无需依赖真实数据的真值标签即可实现。实验结果表明，所提出的三目视差网络在性能上显著优于将两个双目子系统分别输入相同架构的独立处理方案。代码与数据集：https://github.com/cogsys-tuebingen/tristereonet。