摘要

关键点检测与局部特征描述是众多计算机视觉应用中的基础步骤。传统方法遵循“先检测后描述”的范式，即分别采用手工设计的方法，先识别具有重复性的关键点，再在这些关键点位置上用局部描述子进行表征。近年来，基于度量学习损失函数训练的神经网络已逐渐赶上甚至超越传统方法，其重点在于学习具有重复性的显著性图以进行关键点检测，或在检测到的关键点位置学习描述子。在本研究中，我们提出，重复性区域并不必然具备区分性，因此可能导致选择次优的关键点。此外，我们认为，只有在可进行高置信度匹配的区域中学习描述子，才能获得更有效的特征表达。为此，我们提出一种联合学习框架，同时优化关键点检测、特征描述以及局部描述子区分性的预测。该方法能够有效规避模糊区域，从而实现可靠的关键点检测与描述。所提出的检测与描述方法能够同时输出稀疏、重复且可靠的特征点，在HPatches数据集以及最新的Aachen Day-Night定位基准测试中，性能均优于当前最先进的检测器与描述子。