HyperAIHyperAI

Command Palette

Search for a command to run...

基于注意力机制的多模态图像匹配

Aviad Moreshet Yosi Keller

摘要

我们提出了一种基于注意力机制的方法,用于多模态图像块匹配,该方法利用Transformer编码器关注多尺度Siamese卷积神经网络(CNN)的特征图。实验结果表明,我们的编码器能够高效地聚合多尺度图像嵌入,同时强调与任务相关的外观不变图像线索。此外,我们还引入了一种注意力-残差架构,通过残差连接绕过编码器。这一额外的学习信号有助于从零开始进行端到端训练。实验结果证明,我们的方法在多模态和单模态基准测试中均达到了新的最先进水平,展示了其广泛的适用性。据我们所知,这是首次成功将Transformer编码器架构应用于多模态图像块匹配任务。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于注意力机制的多模态图像匹配 | 论文 | HyperAI超神经