HyperAIHyperAI

Command Palette

Search for a command to run...

当极线约束遇上非局部算子在多视图立体视觉中

Tianqi Liu; Xinyi Ye; Weiyue Zhao; Zhiyu Pan; Min Shi; Zhiguo Cao

摘要

基于学习的多视图立体(MVS)方法严重依赖于特征匹配,这需要具有独特性和描述性的表示。一种有效的解决方案是应用非局部特征聚合技术,例如Transformer。尽管这些技术非常有用,但它们为MVS引入了沉重的计算开销,因为每个像素都需要密集地关注整幅图像。相比之下,我们提出将非局部特征增强限制在一对线内:每个点仅关注对应的极线对。这一想法受到了经典极几何的启发,该理论表明,一个点在不同的深度假设下会被投影到另一视角上的极线上。这种约束将立体匹配中的2D搜索空间缩减为极线。同样地,这也意味着MVS的匹配任务是在区分位于同一条线上的多个点。受此点到线搜索的启发,我们设计了一种从线到点的非局部增强策略。首先,我们设计了一种优化的搜索算法,将2D特征图分割成极线对;然后,通过极线Transformer(ET)在极线对之间执行非局部特征增强。我们将ET集成到一个基于学习的MVS基线模型中,命名为ET-MVSNet。ET-MVSNet在DTU和Tanks-and-Temples基准测试中均以高效率实现了最先进的重建性能。代码可在https://github.com/TQTQliu/ET-MVSNet 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
当极线约束遇上非局部算子在多视图立体视觉中 | 论文 | HyperAI超神经