
摘要
交通场景中边缘案例的语义分割鲁棒性是保障智能交通系统安全性的关键因素。然而,绝大多数交通事故涉及的场景具有极强的动态性且此前未被见过,严重制约了现有语义分割方法的性能表现。此外,在高速行驶条件下,传统摄像头存在时间延迟,进一步削弱了时间维度上的上下文信息。为此,本文提出利用具有更高时间分辨率的事件数据(event-based data)提取动态上下文信息,以增强静态RGB图像的表征能力,尤其适用于存在运动模糊、碰撞、形变、翻滚等复杂情况的交通事故场景。为进一步评估语义分割方法在交通事故场景下的性能,我们构建了一个像素级标注的事故数据集,命名为DADA-seg,其中包含多种典型交通事故的关键场景。实验结果表明,事件数据能够提供互补性信息,在事故中有效保留快速运动前景(如碰撞物体)的细粒度运动特征,从而显著提升语义分割在恶劣条件下的稳定性。所提出的方法在自建事故数据集上实现了+8.2%的性能提升,超越了20余种当前先进的语义分割方法。该方法在基于多个源数据集(包括Cityscapes、KITTI-360、BDD和ApolloScape)训练的不同模型上均表现出一致的优越性能,验证了其广泛适用性与有效性。
代码仓库
jamycheung/ISSAFE
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semantic-segmentation-on-dada-seg | EDCNet | mIoU: 32.04 |
| semantic-segmentation-on-ddd17 | EDCNet-S2D | mIoU: 61.99 |
| semantic-segmentation-on-dsec | EDCNet-S2D | mIoU: 56.75 |