摘要

三维点云理解是自动驾驶与机器人技术中的关键组成部分。本文提出了一种新颖的嵌入-查询范式（Embedding-Querying Paradigm, EQ-Paradigm），用于解决包括目标检测、语义分割和分类在内的多种三维理解任务。EQ-Paradigm是一种统一的框架，能够将任意现有的三维主干网络（backbone）与不同任务头（task heads）灵活结合。在该范式下，输入数据首先通过任意特征提取架构在嵌入阶段进行编码，该阶段与具体任务和任务头无关。随后，在查询阶段，编码后的特征被适配至多种任务头，这一过程通过引入一种中间表示——Q-表示（Q-representation）实现，作为嵌入阶段与任务头之间的桥梁。为此，我们设计了一种新型网络结构——Q-Net，作为查询阶段的核心组件。在多个三维任务（包括目标检测、语义分割和形状分类）上的大量实验结果表明，EQ-Paradigm与Q-Net相结合，构成了一种通用且高效的处理流程，能够实现主干网络与任务头之间的灵活协作，并进一步提升当前先进方法的性能表现。相关代码与模型已开源，地址为：https://github.com/dvlab-research/DeepVision3D。