3 个月前

通过可微分Top-K实现部分图匹配的深度学习

通过可微分Top-K实现部分图匹配的深度学习

摘要

图匹配(Graph Matching, GM)旨在通过最大化匹配节点与边之间的亲和度,发现图之间的节点对应关系。作为一个NP难问题,其挑战在实际应用中尤为突出,尤其是在两图中均存在异常节点(outlier nodes)的情况下,这在视觉任务中尤为常见。然而,现有的基于亲和度最大化的方法通常缺乏系统性的机制来抑制错误匹配,往往依赖于人工设定的阈值来剔除异常节点。这一局限性也被神经网络型图匹配求解器所继承,尽管它们在无异常节点的理想场景下表现出优越性能。本文提出将部分图匹配(partial GM)问题建模为一个给定或估计内点数量 $k$ 的Top-k选择任务。具体而言,我们设计了一个可微的Top-k模块,使得能够在最优传输层上实现有效的梯度下降,该模块可无缝集成至当前最先进的深度图匹配流水线中,包括二次型匹配网络NGMv2以及线性匹配网络GCAN。同时,我们引入了注意力融合的聚合层,用于自动估计 $k$ 值,从而实现对真实场景中异常点的鲁棒匹配。最后,我们重新构建并发布了新的基准数据集IMC-PT-SparseGM,其源自IMC-PT立体匹配数据集。该新基准包含更多尺度变化显著的图结构以及来自真实世界的部分匹配实例。实验结果表明,所提方法在多个主流基准上均优于现有的部分匹配方案。

基准测试

基准方法指标
graph-matching-on-imcpt-sparsegm-100NGMv2
F1 score: 0.676
graph-matching-on-imcpt-sparsegm-100PCA-GM
F1 score: 0.575
graph-matching-on-imcpt-sparsegm-100NGMv2-AFAT-I
F1 score: 0.701
graph-matching-on-imcpt-sparsegm-100GCAN-AFAT-I
F1 score: 0.709
graph-matching-on-imcpt-sparsegm-100NGMv2-AFAT-U
F1 score: 0.703
graph-matching-on-imcpt-sparsegm-100GCAN-AFAT-U
F1 score: 0.715
graph-matching-on-imcpt-sparsegm-50NGMv2-AFAT-U
F1 score: 0.720
graph-matching-on-imcpt-sparsegm-50PCA-GM
F1 score: 0.631
graph-matching-on-imcpt-sparsegm-50GCAN-AFAT-U
F1 score: 0.711
graph-matching-on-imcpt-sparsegm-50NGMv2
F1 score: 0.703
graph-matching-on-imcpt-sparsegm-50GCAN-AFAT-I
F1 score: 0.729
graph-matching-on-imcpt-sparsegm-50NGMv2-AFAT-I
F1 score: 0.728
graph-matching-on-pascal-vocNGMv2-AFAT-U
F1 score: 0.602
graph-matching-on-pascal-vocGCAN-AFAT-I
F1 score: 0.616
graph-matching-on-pascal-vocGCAN-AFAT-U
F1 score: 0.620
graph-matching-on-pascal-vocNGMv2-AFAT-I
F1 score: 0.599
graph-matching-on-willow-object-classNGMv2-AFAT-I
F1 score: 0.831
graph-matching-on-willow-object-classNGMv2-AFAT-U
F1 score: 0.817
graph-matching-on-willow-object-classGCAN-AFAT-I
F1 score: 0.837
graph-matching-on-willow-object-classGCAN-AFAT-U
F1 score: 0.823

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过可微分Top-K实现部分图匹配的深度学习 | 论文 | HyperAI超神经