3 个月前

ISSAFE:通过融合事件数据提升事故场景下的语义分割性能

ISSAFE:通过融合事件数据提升事故场景下的语义分割性能

摘要

确保所有交通参与者的安全是推动智能网联汽车迈向实际应用的先决条件。辅助系统不仅需在常规条件下实现高精度,更应在极端场景下具备鲁棒的感知能力。然而,诸如物体碰撞、形变、翻滚等交通意外事件,在大多数现有训练数据集中鲜有出现,这类未见样本会显著损害现有语义分割模型的性能。针对这一问题,本文提出了一项少有研究的语义分割任务——面向事故场景的语义分割,并构建了一个全新的事故数据集 DADA-seg。该数据集包含313个多样化的事故序列,每个序列包含40帧,时间窗口覆盖事故发生前及发生过程中。每11帧由人工进行标注,用于基准测试分割性能。此外,本文提出一种新型基于事件的多模态分割架构——ISSAFE。实验结果表明,事件数据能够为语义分割提供互补信息,在恶劣条件下有效保留事故中快速运动前景(如碰撞物体)的细粒度运动特征,从而提升分割稳定性。在所提出的评估集上,本方法相较基线实现+8.2%的mIoU性能提升,超越了10种以上当前主流的分割方法。所提出的ISSAFE架构在基于多个源数据库(包括Cityscapes、KITTI-360、BDD和ApolloScape)训练的多种模型上均表现出一致的有效性。

代码仓库

jamycheung/ISSAFE
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semantic-segmentation-on-dada-segISSAFE
mIoU: 29.97
semantic-segmentation-on-densepassSwiftNet (Merge3)
mIoU: 32.04%
semantic-segmentation-on-eventscapeISSAFE
mIoU: 43.61
semantic-segmentation-on-kitti-360ISSAFE (ResNet18)
mIoU: 53.95
semantic-segmentation-on-kitti-360ISSAFE (ResNet50)
mIoU: 56.64

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ISSAFE:通过融合事件数据提升事故场景下的语义分割性能 | 论文 | HyperAI超神经