摘要

基于学习的多视图立体（MVS）方法严重依赖于特征匹配，这需要具有独特性和描述性的表示。一种有效的解决方案是应用非局部特征聚合技术，例如Transformer。尽管这些技术非常有用，但它们为MVS引入了沉重的计算开销，因为每个像素都需要密集地关注整幅图像。相比之下，我们提出将非局部特征增强限制在一对线内：每个点仅关注对应的极线对。这一想法受到了经典极几何的启发，该理论表明，一个点在不同的深度假设下会被投影到另一视角上的极线上。这种约束将立体匹配中的2D搜索空间缩减为极线。同样地，这也意味着MVS的匹配任务是在区分位于同一条线上的多个点。受此点到线搜索的启发，我们设计了一种从线到点的非局部增强策略。首先，我们设计了一种优化的搜索算法，将2D特征图分割成极线对；然后，通过极线Transformer（ET）在极线对之间执行非局部特征增强。我们将ET集成到一个基于学习的MVS基线模型中，命名为ET-MVSNet。ET-MVSNet在DTU和Tanks-and-Temples基准测试中均以高效率实现了最先进的重建性能。代码可在https://github.com/TQTQliu/ET-MVSNet 获取。