
摘要
无论图像失真或天气条件如何,检测物体的能力对于深度学习在现实世界中的应用(如自动驾驶)至关重要。本文提供了一个易于使用的基准测试,用于评估当图像质量下降时,物体检测模型的表现情况。由此产生的三个基准数据集分别称为Pascal-C、Coco-C和Cityscapes-C,包含了大量的图像失真类型。我们发现,一系列标准的物体检测模型在失真图像上的性能严重下降(降至原始性能的30%到60%)。然而,一个简单的数据增强技巧——对训练图像进行风格化处理——可以显著提高模型在不同失真类型、严重程度和数据集上的鲁棒性。我们希望这一全面的基准测试能够追踪未来在构建鲁棒物体检测模型方面的进展。该基准测试、代码和数据均已公开可用。
代码仓库
bethgelab/mmdetection
官方
pytorch
GitHub 中提及
bethgelab/stylize-datasets
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| robust-object-detection-on-cityscapes | Faster R-CNN | mPC [AP]: 12.2 rPC [%]: 33.4 |
| robust-object-detection-on-cityscapes | Faster R-CNN with Stylized Training Data | mPC [AP]: 17.2 rPC [%]: 47.4 |
| robust-object-detection-on-cityscapes-1 | Stylized Training Data | mPC [AP]: 17.2 |
| robust-object-detection-on-coco | Faster R-CNN with Stylized Training Data | mPC [AP]: 20.4 rPC [%]: 58.9 |
| robust-object-detection-on-coco | Faster R-CNN | mPC [AP]: 18.2 rPC [%]: 50.2 |
| robust-object-detection-on-pascal-voc-2007 | Faster R-CNN | mPC [AP50]: 48.6 rPC [%]: 60.4 |
| robust-object-detection-on-pascal-voc-2007 | Faster R-CNN with Stylized Training Data | mPC [AP50]: 56.2 rPC [%]: 69.9 |