摘要

这项研究介绍了OVIR-3D，一种简单而有效的方法，用于在无需任何三维数据训练的情况下实现开放词汇的三维物体实例检索。给定一个语言查询，该方法能够根据实例特征与文本查询的相似度返回一组排序的三维物体实例片段。这是通过将与文本对齐的二维区域建议多视图融合到三维空间中实现的，其中二维区域建议网络可以利用比三维数据集更容易获取且通常更大的二维数据集。所提出的融合过程效率高，对于大多数室内三维场景可以在实时环境中完成，并且不需要在三维空间中进行额外的训练。在公共数据集和真实机器人上的实验表明了该方法的有效性及其在机器人导航和操作中的应用潜力。