
摘要
尽管深度网络在图像分类任务中表现出色,但在面对数据中未预见的退化(corruptions)时,其泛化能力仍显不足。为解决这一脆弱性问题,以往研究构建了复杂的图像增强策略,通过组合多种方法来丰富训练数据。然而,这类方法引入了繁复的设计选择或启发式规则,使得难以厘清哪些要素真正对提升鲁棒性具有关键作用。本文中,我们采取一种更为根本的思路,致力于实现对常见数据退化的鲁棒性。我们提出PRIME——一种通用的图像数据增强框架,其核心是基于简单但表达能力丰富的最大熵图像变换族。PRIME在应对各类数据退化方面显著优于现有方法,同时其简洁性与即插即用的特性,使其能够无缝集成到其他增强方法中,进一步提升其鲁棒性。我们对PRIME进行了深入分析,揭示了混合策略在合成退化图像过程中的重要性,并阐明了在常见退化场景下鲁棒性与准确率之间的权衡关系。最后,我们证明了该方法具有优异的计算效率,可轻松应用于在线与离线两种数据增强场景。
代码仓库
amodas/PRIME-augmentations
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-generalization-on-imagenet-c | PRIME (ResNet-50) | Top 1 Accuracy: 55.0 mean Corruption Error (mCE): 57.5 |
| domain-generalization-on-imagenet-c | PRIME with JSD (ResNet-50) | Top 1 Accuracy: 56.4 mean Corruption Error (mCE): 55.5 |
| domain-generalization-on-imagenet-c | PRIME + DeepAugment (ResNet-50) | Top 1 Accuracy: 59.9 mean Corruption Error (mCE): 51.3 |
| domain-generalization-on-imagenet-r | PRIME with JSD (ResNet-50) | Top-1 Error Rate: 53.7 |
| domain-generalization-on-imagenet-r | PRIME (ResNet-50) | Top-1 Error Rate: 57.1 |