摘要

鸟瞰图（BeV）表示已成为驾驶应用中的事实共享空间，为传感器数据融合提供了一个统一的空间，并支持各种下游任务。然而，传统的模型使用固定分辨率和范围的网格，在所有单元格中均匀分配资源导致计算效率低下。为了解决这一问题，我们提出了一种新的稀疏BeV分割模型——PointBeV，该模型在稀疏BeV单元上运行，而不是在密集的网格上。这种方法提供了对内存使用的精确控制，使得可以使用长时间上下文，并适应内存受限的平台。PointBeV采用高效的两阶段训练策略，能够在感兴趣区域进行集中计算。在推理时，它可以用于不同的内存/性能权衡，并灵活调整以适应新的特定应用场景。尽管仅使用稀疏信号进行训练，PointBeV在nuScenes数据集上的车辆、行人和车道分割任务中仍取得了最先进的结果，在静态和时间设置下表现出色。我们将发布我们的代码以及架构中使用的两个新高效模块：稀疏特征提取（Sparse Feature Pulling），旨在从图像到BeV有效提取特征；子流形注意力机制（Submanifold Attention），能够实现高效的时间建模。我们的代码可在 https://github.com/valeoai/PointBeV 获取。