摘要

我们提出了一种全新的3D目标检测架构——M3DeTR，该架构将不同的点云表示方式（原始点云、体素、鸟瞰图）与基于多尺度特征金字塔的不同特征尺度相结合。M3DeTR是首个通过Transformer模型，同时统一融合多种点云表示、多尺度特征，并建模点云之间相互关系的方法。我们进行了广泛的消融实验，充分验证了融合不同表示与尺度以及建模点云间关系所带来的显著优势。在KITTI 3D目标检测数据集和Waymo Open Dataset上，我们的方法均取得了当前最优的性能表现。实验结果表明，M3DeTR在Waymo Open Dataset上对所有类别均将基线模型的mAP提升了1.48%。特别地，本方法在广为人知的KITTI 3D检测基准测试中，于汽车和骑行者两类上均位列第一；在采用单帧点云输入的情况下，也在Waymo Open Dataset上取得第一名的成绩。相关代码已开源，地址为：https://github.com/rayguan97/M3DETR。