4 个月前

Fishyscapes基准:测量语义分割中的盲点

Fishyscapes基准:测量语义分割中的盲点

摘要

深度学习在语义分割的准确性方面取得了令人印象深刻的进展。然而,对于自动驾驶等安全关键应用而言,估计不确定性并检测失败的能力至关重要。现有的不确定性估计方法大多是在简单任务上进行评估的,尚不清楚这些方法是否可以推广到更复杂的场景中。我们提出了Fishyscapes(鱼景),这是首个用于城市驾驶语义分割任务中不确定性估计的公开基准测试。该基准测试评估了像素级不确定性估计在检测车辆前方异常物体方面的性能。我们将最先进的方法应用于最近的语义分割模型,并基于softmax置信度、贝叶斯学习和嵌入密度的方法对不同方案进行了比较。我们的结果显示,即使在普通情况下,异常检测仍远未解决,而我们的基准测试允许测量超出当前最先进水平的进展。

代码仓库

基准测试

基准方法指标
anomaly-detection-on-fishyscapes-l-fVoid Classifier
AP: 10.29
FPR95: 22.11
anomaly-detection-on-fishyscapes-l-fSoftmax Entropy
AP: 2.9
FPR95: 44.8
anomaly-detection-on-fishyscapes-l-fLearned Embedding Density
AP: 4.7
FPR95: 24.4
anomaly-detection-on-fishyscapes-l-fBayesian DeepLab
AP: 9.8
FPR95: 38.5
anomaly-detection-on-fishyscapes-l-fDirichlet DeepLab
AP: 34.28
FPR95: 47.43

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Fishyscapes基准:测量语义分割中的盲点 | 论文 | HyperAI超神经