HyperAIHyperAI

Command Palette

Search for a command to run...

MVSFormer++:揭示多视图立体中Transformer的细节魔鬼

Chenjie Cao extsuperscript1,2,3,*† Xinlin Ren extsuperscript3,* Yanwei Fu extsuperscript1‡

摘要

近期,基于学习的多视图立体(MVS)方法中, Transformer 模型及其注意力机制得到了广泛关注。然而,现有的方法尚未深入研究 Transformer 对不同MVS模块的深远影响,导致深度估计能力有限。在本文中,我们提出了一种新的方法——MVSFormer++,该方法谨慎地利用注意力机制的固有特性来增强MVS流程中的各个组件。具体而言,我们的方法包括将跨视图信息注入预训练的DINOv2模型以促进MVS学习。此外,我们在特征编码器和成本体积正则化中分别采用了不同的注意力机制,重点关注特征聚合和空间聚合。我们还发现一些设计细节会对MVS中的 Transformer 模块性能产生显著影响,包括归一化的三维位置编码、自适应注意力缩放以及层归一化的位置。通过在DTU、Tanks-and-Temples、BlendedMVS和ETH3D数据集上进行的全面实验验证了所提方法的有效性。值得注意的是,MVSFormer++在具有挑战性的DTU和Tanks-and-Temples基准测试中达到了最先进的性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供