摘要

除了用于图像匹配的特征点外，线段特征为机器人学与计算机视觉（CV）中的视觉几何问题提供了额外的约束条件。尽管近年来基于卷积神经网络（CNN）的线段描述子在应对视角变化或动态环境方面展现出良好前景，但我们指出，CNN架构在将可变长度的线段抽象为固定维度的描述子时存在固有局限。本文提出一种名为Line-Transformers的新方法，用于有效处理长度可变的线段。受自然语言处理（NLP）任务的启发——在神经网络中，句子能够被良好地理解与抽象——我们将线段视为由点（相当于词语）构成的“句子”。通过动态关注线段上具有强描述性的关键点，我们的描述子在处理不同长度线段时表现出优异性能。此外，我们还提出了共享线段几何属性至邻域的线段签名网络（line signature networks），作为组描述子，该网络通过理解线段之间的相对几何关系，进一步增强了线段描述子的表达能力。最后，我们将所提出的线段描述子与匹配方法集成至点与线定位系统（Point and Line Localization, PL-Loc）中。实验结果表明，利用我们提出的线段特征，可显著提升仅依赖特征点的视觉定位性能。我们在单应性估计与视觉定位任务中验证了所提方法的有效性。