摘要

特征表示学习是基于学习的多视图立体（MVS）重建的关键技术。作为基于学习的MVS中的常用特征提取器，传统的特征金字塔网络（FPN）在反射和无纹理区域的特征表示上存在不足，这限制了MVS的泛化能力。即使与预训练的卷积神经网络（CNN）结合使用，FPN也难以解决这些问题。另一方面，视觉变换器（ViT）已经在许多2D视觉任务中取得了显著的成功。因此，我们探讨了ViT是否可以促进MVS中的特征学习？在本文中，我们提出了一种预训练ViT增强的MVS网络，称为MVSFormer，该网络可以通过ViT提供的信息先验来学习更加可靠的特征表示。通过高效注意力机制的分层ViT进行微调后的MVSFormer可以在FPN的基础上实现显著改进。此外，还提出了另一种具有冻结ViT权重的MVSFormer变体。这种方法在很大程度上减轻了训练成本，同时通过自蒸馏预训练生成的注意力图增强了性能。MVSFormer可以通过梯度累积加强的高效多尺度训练推广到各种输入分辨率。此外，我们讨论了分类和回归方法在MVS中的优缺点，并进一步提出了一种基于温度策略的方法来统一这两种方法。MVSFormer在DTU数据集上实现了最先进的性能。特别是在竞争激烈的Tanks-and-Temples排行榜上，MVSFormer在中级和高级集合中均排名第一。