摘要

我们针对基于少量自然语言描述的三维点云定位问题，提出了一种新型神经网络Text2Loc，能够充分解析点云与文本之间的语义关联。Text2Loc采用从粗到精的定位流程：首先进行文本-子地图的全局场景识别，随后实现精细定位。在全局场景识别阶段，通过一种结合最大池化机制的分层变压器（HTM）捕获每条文本提示之间的关系动态；同时，利用文本-子地图对比学习策略，有效平衡正负样本对之间的关系。此外，我们提出一种新颖的无需匹配的精细定位方法，进一步优化定位结果，完全摒弃了复杂文本-实例匹配过程，相较以往方法更加轻量、高效且精度更高。大量实验表明，在KITTI360Pose数据集上，Text2Loc将定位精度提升至当前最先进方法的2倍。项目主页已公开，访问地址为：\url{https://yan-xia.github.io/projects/text2loc/}。