摘要

我们提出了一种基于注意力机制的方法，用于多模态图像块匹配，该方法利用Transformer编码器关注多尺度Siamese卷积神经网络（CNN）的特征图。实验结果表明，我们的编码器能够高效地聚合多尺度图像嵌入，同时强调与任务相关的外观不变图像线索。此外，我们还引入了一种注意力-残差架构，通过残差连接绕过编码器。这一额外的学习信号有助于从零开始进行端到端训练。实验结果证明，我们的方法在多模态和单模态基准测试中均达到了新的最先进水平，展示了其广泛的适用性。据我们所知，这是首次成功将Transformer编码器架构应用于多模态图像块匹配任务。