摘要

本文介绍了StereoNet，这是首个用于实时立体匹配的端到端深度架构，能够在NVidia Titan X上以60帧每秒（fps）的速度运行，生成高质量、边缘保留且无量化误差的视差图。本文的一个关键见解是，该网络实现了比传统立体匹配方法高一个数量级的亚像素匹配精度。这使得我们可以通过使用非常低分辨率的成本体来实现实时性能，而该成本体包含了实现高视差精度所需的所有信息。空间精度则是通过采用一种学习的边缘感知上采样函数来实现的。我们的模型使用了一个Siamese网络从左图和右图中提取特征。首先在非常低分辨率的成本体中计算出初始视差估计值，然后通过层次化的方式，模型通过一个学习的上采样函数重新引入高频细节，该函数利用了紧凑的像素到像素精炼网络。借助颜色输入作为引导，此函数能够生成高质量的边缘感知输出。我们在多个基准测试中取得了令人信服的结果，展示了所提出的方法在可接受的计算预算下具有极高的灵活性。