摘要

图像间对应关系的建立仍然是一个具有挑战性的任务，尤其是在视角差异或类内变化导致外观显著改变的情况下。本文提出了一种强大的语义图像匹配学习器——TransforMatcher，该方法基于Transformer网络在视觉领域的成功应用。与现有的基于卷积或注意力机制的匹配方法不同，TransforMatcher通过全局的“匹配到匹配”注意力机制，实现精确的匹配定位与动态优化。为有效处理密集相关图中大量匹配关系，我们设计了一种轻量级注意力架构，以建模全局的匹配间交互。此外，我们提出利用多通道相关图进行优化，将多层级的得分作为特征而非单一得分，从而充分挖掘分层语义信息的丰富性。实验结果表明，TransforMatcher在SPair-71k数据集上达到了新的最先进水平，同时在PF-PASCAL数据集上性能与现有最先进方法相当。