摘要

近期，基于学习的多视图立体（MVS）方法中，变压器模型及其注意力机制得到了广泛关注。然而，现有的方法尚未深入研究变压器对不同MVS模块的深远影响，导致深度估计能力有限。在本文中，我们提出了一种新的方法——MVSFormer++，该方法谨慎地利用注意力机制的固有特性来增强MVS流程中的各个组件。具体而言，我们的方法包括将跨视图信息注入预训练的DINOv2模型以促进MVS学习。此外，我们在特征编码器和成本体积正则化中分别采用了不同的注意力机制，重点关注特征聚合和空间聚合。我们还发现一些设计细节会对MVS中的变压器模块性能产生显著影响，包括归一化的三维位置编码、自适应注意力缩放以及层归一化的位置。通过在DTU、Tanks-and-Temples、BlendedMVS和ETH3D数据集上进行的全面实验验证了所提方法的有效性。值得注意的是，MVSFormer++在具有挑战性的DTU和Tanks-and-Temples基准测试中达到了最先进的性能。