摘要

视觉Transformer（Vision Transformers, ViTs）近年来已被广泛应用于目标检测与分割之外的视觉匹配任务。然而，ViT原始的网格划分策略忽略了关键点的空间信息，限制了其对局部细节的敏感性。为此，本文提出QueryTrans（Query Transformer），采用交叉注意力模块与基于关键点的中心裁剪策略，以更有效地提取空间信息。进一步地，我们引入图注意力模块，构建了一种基于Transformer的图匹配方法GMTR（Graph Matching Transformers），通过图Transformer神经网络求解器有效处理图匹配（GM）问题的组合特性。在标准图匹配基准测试中，GMTR的表现与当前最优（SOTA）框架相当。具体而言，在Pascal VOC数据集上，GMTR达到83.6%的准确率，较现有最优框架提升0.9%；在Spair-71k数据集上，GMTR展现出显著潜力，优于大多数先前方法。与此同时，在Pascal VOC上，QueryTrans将NGMv2的准确率从80.1%提升至83.3%，将BBGM从79.0%提升至84.5%；在Spair-71k上，QueryTrans将NGMv2从80.6%提升至82.5%，将BBGM从82.1%提升至83.9%。相关源代码将公开发布。