摘要

我们提出了一种跨视角变压器（cross-view transformers），这是一种高效的基于注意力机制的模型，用于从多个摄像头进行地图视角的语义分割。我们的架构通过一种摄像机感知的跨视角注意力机制，隐式地学习了从各个单独的摄像机视图到规范的地图视图表示的映射。每个摄像机使用依赖于其内部和外部校准的位置嵌入（positional embeddings）。这些位置嵌入使得变压器能够在不显式建模几何关系的情况下，学习不同视图之间的映射。该架构包括每个视图的卷积图像编码器和跨视角变压器层，以推断出地图视角的语义分割。我们的模型简单、易于并行化且实时运行。所提出的架构在 nuScenes 数据集上达到了最先进的性能，推理速度提高了4倍。代码可在 https://github.com/bradyz/cross_view_transformers 获取。