摘要

在本文中，我们提出了TransMVSNet，该方法基于对多视图立体视觉（Multi-View Stereo, MVS）中特征匹配机制的深入探索。我们重新审视MVS的本质，将其视为一项特征匹配任务，并据此提出了一种强大的特征匹配Transformer（Feature Matching Transformer, FMT），通过引入内部（自）注意力与跨图像（交叉）注意力机制，有效聚合图像内部及图像之间的长程上下文信息。为更好地适应FMT的特性，我们设计了自适应感受野（Adaptive Receptive Field, ARF）模块，以确保特征感受野在不同层级间平滑过渡，并通过特征路径实现跨尺度的特征与梯度传递。此外，我们采用成对特征相关性来衡量特征间的相似性，并引入去模糊聚焦损失（ambiguity-reducing focal loss）以增强监督信号。据我们所知，TransMVSNet是首个将Transformer架构成功应用于MVS任务的尝试。实验结果表明，该方法在DTU数据集、Tanks and Temples基准以及BlendedMVS数据集上均取得了当前最优的性能表现。本方法的代码将开源，发布于 https://github.com/MegviiRobot/TransMVSNet。