摘要

本文提出了一种基于长短期记忆（LSTM）的自适应聚合循环多视图立体网络，即AA-RMVSNet。我们首先引入了一个视内聚合模块，通过使用上下文感知卷积和多尺度聚合来自适应地提取图像特征，这在处理诸如细小物体和大面积低纹理表面等具有挑战性的区域时显著提升了性能。为了克服复杂场景中不同遮挡带来的困难，我们提出了一种视间成本体积聚合模块，用于自适应像素级视图聚合，该模块能够在所有视图中保留更好的匹配对。所提出的两个自适应聚合模块在提高3D重建的精度和完整性方面既轻量又有效且互补。与传统的3D卷积神经网络（CNN）不同，我们利用具有循环结构的混合网络进行成本体积正则化，这使得高分辨率重建和更精细的假设平面扫描成为可能。所提出的网络采用端到端的方式训练，在多个数据集上取得了优异的表现。它在Tanks and Temples基准测试中排名第一，并在DTU数据集上取得了有竞争力的结果，展示了其强大的泛化能力和鲁棒性。我们的方法的实现代码可在https://github.com/QT-Zhu/AA-RMVSNet 获取。