摘要

传统的3D场景理解方法依赖于带有标签的3D数据集来监督训练模型以完成单一任务。我们提出了一种替代方法——OpenScene，该方法通过预测3D场景点的密集特征，并将其与文本和图像像素共同嵌入到CLIP特征空间中。这种零样本方法使得模型能够在无监督的情况下进行任务无关的训练，并支持开放词汇查询。例如，为了执行最先进的零样本3D语义分割，该方法首先推断每个3D点的CLIP特征，然后根据这些特征与任意类别标签嵌入之间的相似性对其进行分类。更有趣的是，这种方法还能够实现一系列前所未有的开放词汇场景理解应用。例如，用户可以输入任意文本查询，然后看到一个热图显示哪些部分与查询匹配。我们的方法在复杂3D场景中识别物体、材料、功能、活动和房间类型方面表现出色，且整个过程仅使用了一个未经过任何带标签3D数据训练的模型。