HyperAIHyperAI

Command Palette

Search for a command to run...

CAFuser:面向条件的多模态融合用于驾驶场景的鲁棒语义感知

Tim Brödermann Christos Sakaridis Yuqian Fu Luc Van Gool

摘要

利用多种传感器对于自动驾驶中的鲁棒语义感知至关重要,因为每种传感器类型都有其互补的优势和劣势。然而,现有的传感器融合方法通常在所有条件下对传感器进行统一处理,导致性能次优。相比之下,我们提出了一种新颖的条件感知多模态融合方法,用于驾驶场景的鲁棒语义感知。我们的方法称为 CAFuser,通过使用 RGB 相机输入来分类环境条件并生成一个条件标记(Condition Token),从而指导多种传感器模态的融合。我们进一步引入了特定模态的特征适配器,将不同的传感器输入对齐到共享的潜在空间中,从而实现与单一且共享的预训练主干网络的有效集成。通过根据实际条件动态调整传感器融合,我们的模型显著提高了鲁棒性和准确性,尤其是在恶劣条件下的场景中。CAFuser 在公开的 MUSES 基准测试中排名第一,实现了多模态全景分割 59.7 PQ 和语义分割 78.2 mIoU 的成绩,并且在 DeLiVER 上也创下了新的最先进水平。源代码已公开发布在:https://github.com/timbroed/CAFuser


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供