摘要

神经网络如何区分两张图像？深入理解深度模型的匹配机制，对于构建在监控、门禁等高风险视觉应用场景中具有可靠性的智能系统至关重要。然而，现有的大多数深度度量学习方法通过比较特征向量来实现图像匹配，这一过程忽略了图像的空域结构信息，因而缺乏可解释性。本文提出一种深度可解释度量学习（Deep Interpretable Metric Learning, DIML）方法，以实现更透明的嵌入学习。与传统基于特征向量比较的度量学习方法不同，我们提出一种结构化匹配策略，通过计算两张图像特征图之间的最优匹配流，显式地对齐其空域嵌入。该方法使深度模型能够以更符合人类认知的方式学习度量，图像间的相似性可被分解为多个局部区域的相似性及其对整体相似性的贡献权重。所提方法具有模型无关性（model-agnostic），可无缝集成于现成的骨干网络及各类度量学习框架中。我们在三个主流深度度量学习基准数据集（CUB200-2011、Cars196 和 Stanford Online Products）上进行了评估，结果表明，DIML 在性能上显著优于现有主流方法，同时具备更强的可解释性。代码已开源，地址为：https://github.com/wl-zhao/DIML。