摘要

近期，基于纯摄像头的鸟瞰图（Bird's-Eye-View, BEV）感知为低成本自动驾驶提供了一种可行的解决方案。然而，现有的基于BEV的多视角3D检测方法通常将所有图像特征统一转换为BEV特征，未充分考虑背景信息占比过大可能掩盖目标信息的问题。为此，本文提出一种语义感知的BEV池化方法（Semantic-Aware BEV Pooling, SA-BEVPool），该方法根据图像特征的语义分割结果，有效过滤背景信息，并将图像特征转化为具有语义感知能力的BEV特征。在此基础上，我们进一步提出BEV-Paste，一种与语义感知BEV特征高度匹配的有效数据增强策略。此外，我们设计了多尺度跨任务（Multi-Scale Cross-Task, MSCT）检测头，通过融合任务特定信息与跨任务信息，更准确地预测深度分布与语义分割结果，从而进一步提升语义感知BEV特征的质量。最终，我们将上述模块整合为一种新型的多视角3D目标检测框架——SA-BEV。在nuScenes数据集上的实验表明，SA-BEV取得了当前最优的性能表现。代码已开源，地址为：https://github.com/mengtan00/SA-BEV.git。