摘要

基于自然语言与移动设备及家用电器进行交互正日益流行，未来有望成为与移动机器人进行沟通的自然方式。为实现这一目标，我们研究了跨模态的文本到点云定位技术，以实现对车辆接驳点或货物交付位置等场景的精准指定。具体而言，我们提出了Text2Pos——一种跨模态定位模块，该模块采用粗到细的策略，学习将文本描述与环境中的定位线索进行对齐。给定环境的点云数据，Text2Pos能够根据对周围环境的自然语言描述，准确定位目标位置。为训练Text2Pos并评估其性能，我们构建了KITTI360Pose，这是首个基于近期发布的KITTI360数据集的此类任务专用数据集。实验结果表明，在前10个检索结果中，我们能够将65%的文本查询定位在距离目标位置15米以内的范围内。这一成果为基于语言的导航研究奠定了初步基础，我们希望它能激发未来在该方向上的进一步发展。