摘要

本文研究了从多视角图像中检测三维物体的问题。现有的基于查询的方法依赖于全局三维位置嵌入（Position Embedding, PE）来学习图像与三维空间之间的几何对应关系。我们指出，直接将二维图像特征与全局三维PE进行交互，会因相机外参的变化而增加视角变换学习的难度。为此，我们提出了一种基于相机视角位置嵌入的新方法，称为CAmera view Position Embedding（CAPE）。与传统的全局坐标系不同，CAPE在局部相机视角坐标系下构建三维位置嵌入，从而避免了对相机外参的显式编码。此外，我们进一步将CAPE拓展至时序建模，通过利用前一帧的物体查询并编码自运动信息（ego-motion），以提升三维物体检测性能。在nuScenes数据集上，CAPE在所有无LiDAR方法中取得了当前最优的性能，达到61.0%的NDS和52.5%的mAP。相关代码与模型已开源，可在Paddle3D和PyTorch实现版本中获取。