
摘要
异常分割是自动驾驶应用中的关键任务,传统上被建模为逐像素分类问题。然而,若仅孤立地对每个像素进行推理而忽略其上下文语义信息,会导致物体边界区域不确定性较高,并产生大量误报。为此,我们提出一种范式转变:从逐像素分类转向基于掩码的分类。我们提出的基于掩码的方法——Mask2Anomaly,首次验证了将异常检测方法融入掩码分类架构的可行性。Mask2Anomaly 引入了多项技术创新,以提升掩码级别异常检测的性能:i)全局掩码注意力模块,能够分别聚焦于前景与背景区域;ii)掩码对比学习机制,通过最大化异常样本与已知类别之间的判别边界来增强区分能力;iii)掩码精炼方案,有效降低误报率。在多个基准测试中,Mask2Anomaly 在逐像素与组件级评估上均取得了新的最先进性能。尤其值得注意的是,相较于此前的最先进方法,Mask2Anomaly 将平均误报率降低了60%。项目主页:https://github.com/shyam671/Mask2Anomaly-Unmasking-Anomalies-in-Road-Scene-Segmentation。
代码仓库
shyam671/mask2anomaly-unmasking-anomalies-in-road-scene-segmentation
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| anomaly-detection-on-fishyscapes-1 | Mask2Anomaly | AP: 95.20 FPR95: 0.82 |
| anomaly-detection-on-fishyscapes-l-f | Mask2Anomaly | AP: 46.04 FPR95: 4.36 |
| anomaly-detection-on-lost-and-found | Mask2Anomaly | AP: 86.59 FPR: 5.75 |
| anomaly-detection-on-road-anomaly | Mask2Anomaly | AP: 79.70 FPR95: 13.45 |
| instance-segmentation-on-oodis | Mask2Anomaly | AP: 13.73 AP50: 24.30 |
| object-detection-on-oodis | Mask2Anomaly | AP: 1.24 AP50: 2.23 |
| scene-segmentation-on-streethazards | Mask2Anomaly | Open-mIoU: 59.8 |