摘要

自动驾驶车辆的感知系统负责检测与跟踪周围环境中的物体。通常，为提升系统的鲁棒性与准确性，会融合多种传感模态，因此传感器融合成为感知系统中的关键环节。本文聚焦于雷达与摄像头的传感器融合问题，提出一种中层融合（middle-fusion）方法，以充分利用雷达与摄像头数据实现三维物体检测。所提出的方案名为CenterFusion，首先通过中心点检测网络在图像中识别物体的中心点，从而完成物体检测；随后，引入一种新颖的基于棱锥体（frustum-based）的方法，解决关键的数据关联问题，将雷达检测结果与对应物体的中心点进行匹配。匹配后的雷达检测结果被用于生成基于雷达的特征图，以补充图像特征，并进一步回归物体的深度、旋转角度及速度等属性。我们在具有挑战性的nuScenes数据集上对CenterFusion进行了评估，结果表明，该方法相较于当前最先进的纯摄像头算法，将nuScenes检测评分（NDS）提升了超过12%。此外，我们还证明，CenterFusion在不依赖任何额外时序信息的前提下，显著提升了速度估计的准确性。代码已开源，地址为：https://github.com/mrnabati/CenterFusion。