摘要

深度学习已彻底革新了图像级任务（如图像分类），但诸如对应关系（correspondence）等局部区域级任务仍主要依赖手工设计的特征，例如SIFT。本文提出利用卷积神经网络（CNN）学习具有判别性的局部区域表示，并特别训练一种孪生网络（Siamese network），输入为一对（非）对应区域。为应对潜在匹配对数量庞大的问题，我们结合了训练集的随机采样策略与一种激进的难例挖掘方法，优先选择难以分类的区域。在训练与测试过程中均采用L2距离，构建出128维的描述子，其欧氏距离能够有效反映区域间的相似性，可作为SIFT的即插即用替代方案。实验表明，该方法在多个基准上均显著优于现有最先进方法，并在尺度变化、旋转、透视变换、非刚性形变及光照变化等复杂场景下展现出良好的泛化能力。所提出的描述子计算高效，适用于现代GPU加速，且已公开发布，便于广泛使用。