摘要

在组合优化、机器学习和计算机视觉等多个领域中，考虑节点约束与成对约束的图匹配问题具有基础性意义，因为在这些应用中，准确刻画节点之间的关系及其邻域结构至关重要。本文提出一种端到端模型，能够学习图匹配过程中所有参数，包括一元与成对节点邻域，这些邻域通过深度特征提取层次进行建模。模型的核心挑战在于如何设计各矩阵计算层的表达形式，以确保从损失函数出发，经由求解匹配问题的组合优化层，再到特征提取层次的完整流程中，梯度能够一致且高效地传播。在PASCAL VOC关键点、Sintel以及CUB等具有挑战性的数据集上的计算机视觉实验与消融研究结果表明，通过端到端方式优化的匹配模型，其性能显著优于那些基于为其他任务训练的特征层次构建的模型。