摘要

我们介绍了PatchmatchNet，这是一种新颖且可学习的Patchmatch级联方法，用于高分辨率多视图立体视觉。PatchmatchNet具有高速计算和低内存需求的特点，能够处理更高分辨率的图像，并且比采用3D代价体积正则化的竞争对手更适合在资源受限的设备上运行。我们首次在一个端到端可训练的架构中引入了迭代多尺度Patchmatch，并通过一种新颖且可学习的自适应传播和评估方案改进了Patchmatch核心算法，该方案在每次迭代中都得到应用。大量实验表明，我们的方法在DTU、Tanks & Temples和ETH3D数据集上的性能和泛化能力非常有竞争力，但其效率显著高于所有现有的顶级模型：至少比最先进的方法快两倍半，并且内存使用量减少了一半。