HyperAIHyperAI

Command Palette

Search for a command to run...

LaRa:用于多相机鸟瞰视图语义分割的潜在变量和射线方法

Florent Bartoccioni Éloi Zablocki Andrei Bursuc Patrick Pérez Matthieu Cord Karteek Alahari

摘要

近期在自动驾驶领域的研究中,广泛采用了鸟瞰图(BEV)语义地图作为世界的一种中间表示形式。在线预测这些BEV地图涉及非平凡的操作,例如多摄像头数据提取以及融合和投影到一个共同的俯视网格中。这通常通过容易出错的几何操作(如单目深度估计的同胚变换或反向投影)或昂贵的图像像素与BEV像素之间的直接密集映射(如使用多层感知机或注意力机制)来实现。在本工作中,我们提出了一种高效的基于编码器-解码器和 Transformer 架构的模型“LaRa”,用于从多个摄像头进行车辆语义分割。我们的方法利用交叉注意力机制系统地聚合来自多个传感器的信息,形成一个紧凑而丰富的潜在表示集合。这些潜在表示经过一系列自注意力模块处理后,再通过第二次交叉注意力在BEV空间中重新投影。我们在nuScenes数据集上展示了我们的模型在使用 Transformer 架构的方法中优于以往最佳的工作。代码和训练好的模型可在https://github.com/valeoai/LaRa 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LaRa:用于多相机鸟瞰视图语义分割的潜在变量和射线方法 | 论文 | HyperAI超神经