摘要
本文提出了两种网络架构，分别称为RANet和BIRANet。所提出的架构旨在融合雷达信号数据与RGB相机图像，构建一个在光照和天气条件变化（如雨、尘、雾等）下仍能高效运行的鲁棒目标检测网络。具体而言，该方法包含三个关键步骤：首先，在特征提取网络中融合雷达信息；其次，利用雷达点云生成引导性锚框（guided anchors）；第三，提出一种改进区域建议网络（RPN）目标生成的方法。在NuScenes数据集上的实验结果表明，BIRANet取得了72.3% / 75.3%的平均AP/AR，优于基于特征金字塔网络（FFPN）的基线模型Faster-RCNN。RANet在相同数据集上获得69.6% / 71.9%的平均AP/AR，表现亦达到合理可接受水平。此外，BIRANet与RANet均在噪声环境下展现出良好的鲁棒性。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| object-detection-on-nuscenes | RANet(Radar) | AP(l): 73.3 AP(m): 67.8 AP(s): 44.8 AP50: 83.9 AP75: 80.1 AP85: 64.4 AR: 71.9 AR(l): 76.2 AR(m): 70.9 AR(s): 47.3 MAP: 69 |
| object-detection-on-nuscenes | BIRANet(RGB+Radar) | AP(l): 76.9 AP(m): 70.1 AP(s): 53.5 AP50: 88.9 AP75: 84.3 AP85: 65.7 AR: 75.3 AR(l): 79.8 AR(m): 73.2 AR(s): 56.2 MAP: 72.3 |