摘要

将相机和激光雷达（LiDAR）传感器的数据融合是实现稳健三维目标检测的关键技术。在相机与激光雷达数据融合中，一个主要挑战是在坐标系和数据分布方面弥合这两种传感器之间的巨大域差距。本文提出了一种新颖的相机-激光雷达融合架构，称为3D双融合（3D Dual-Fusion），旨在减少相机数据和激光雷达数据特征表示之间的差距。所提出的方法通过可变形注意力机制将相机视角和三维体素视角领域的特征进行融合，并建模它们之间的相互作用。我们重新设计了变压器融合编码器，以聚合来自两个领域的信息。主要改进包括：1）双查询式可变形注意力机制，用于交互式地融合双域特征；2）三维局部自注意力机制，在双查询解码之前对体素域查询进行编码。实验评估结果表明，所提出的相机-激光雷达融合架构在KITTI和nuScenes数据集上取得了具有竞争力的性能，并在某些三维目标检测基准类别中达到了最先进的水平。