摘要

尽管近年来基于深度学习的图匹配（Deep Graph Matching, GM）在视觉图像任务中取得了高精度的突破，但深度GM模型的鲁棒性却鲜少受到关注。然而，这一问题在现代深度神经网络中已被证实至关重要，其影响范围涵盖图像识别到图学习等多种任务。本文首先揭示，针对关键点位置以及隐式图结构的对抗性攻击，可导致深度GM模型性能显著下降。为此，我们提出一种新的防御策略——外观与结构感知的鲁棒图匹配方法（Appearance and Structure Aware Robust Graph Matching, ASAR-GM）。具体而言，不同于现有的对抗训练（Adversarial Training, AT）范式，我们设计了一种外观感知正则化项（Appearance Aware Regularizer, AAR），用于处理图之间外观相似、易造成混淆的关键点。实验结果表明，相较于传统对抗训练，ASAR-GM在提升模型鲁棒性方面表现更优。此外，我们提出的局部性攻击方法还可作为数据增强技术，有效提升当前最先进GM模型在干净测试集上的性能。代码已开源，地址为：https://github.com/Thinklab-SJTU/RobustMatch。