4 个月前

通过随机梯度阈值实现的快速显著性引导Mix-up

通过随机梯度阈值实现的快速显著性引导Mix-up

摘要

混合训练方法已被证明在提高深度神经网络的泛化能力方面非常有效。多年来,研究社区在两个方向上扩展了混合方法,一方面投入大量努力改进显著性引导过程,另一方面则较少关注任意路径,导致随机化领域的探索不足。本文受到每个方向相对于另一个方向所具有的优越品质的启发,提出了一种位于这两条路径交汇点的新方法。通过结合随机性和显著性利用的最佳元素,我们的方法在速度、简洁性和准确性之间取得了平衡。我们根据“随机混合”的概念将该方法命名为R-Mix。我们展示了其在泛化能力、弱监督目标定位、校准和对抗攻击鲁棒性方面的有效性。最后,为了探讨是否存在更好的决策协议,我们训练了一个强化学习代理,该代理基于分类器的性能来决定混合策略,从而减少了对人工设计目标和超参数调优的依赖。广泛的实验进一步表明,该代理能够在前沿水平上运行,为完全自动化的混合方法奠定了基础。我们的代码已发布在 [https://github.com/minhlong94/Random-Mixup]。注释:- 混合训练(mix-up training):一种数据增强技术。- 显著性引导过程(saliency-guided procedures):利用图像中显著区域进行指导的过程。- 任意路径(arbitrary path):指不特定于某种规则或模式的路径。- 强化学习代理(Reinforcement Learning agent):一种通过与环境互动来学习最优行为策略的算法模型。

代码仓库

minhlong94/random-mixup
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
classifier-calibration-on-cifar-100R-Mix (PreActResNet-18)
Expected Calibration Error: 3.73
image-classification-on-cifar-100WideResNet 28-10 + CutMix (OneCycleLR scheduler)
Percentage correct: 83.97
image-classification-on-cifar-100RL-Mix (PreActResNet-18)
Percentage correct: 80.75
image-classification-on-cifar-100R-Mix (WideResNet 28-10)
Percentage correct: 85
image-classification-on-cifar-100RL-Mix (WideResNet 16-8)
Percentage correct: 82.16
image-classification-on-cifar-100RL-Mix (ResNeXt 29-4-24)
Percentage correct: 82.43
image-classification-on-cifar-100WideResNet 16-8 + CutMix (OneCycleLR scheduler)
Percentage correct: 81.79
image-classification-on-cifar-100ResNeXt 29-4-24 + CutMix (OneCycleLR scheduler)
Percentage correct: 82.3
image-classification-on-cifar-100RL-Mix (WideResNet 28-10)
Percentage correct: 84.9
image-classification-on-cifar-100R-Mix (ResNeXt 29-4-24)
Percentage correct: 83.02
image-classification-on-cifar-100R-Mix (WideResNet 16-8)
Percentage correct: 82.32
image-classification-on-cifar-100R-Mix (PreActResNet-18)
Percentage correct: 81.49
image-classification-on-cifar-100PreActResNet-18 + CutMix (OneCycleLR scheduler)
Percentage correct: 80.6
image-classification-on-imagenetR-Mix (ResNet-50)
Top 1 Accuracy: 77.39%
weakly-supervised-object-localization-on-2R-Mix (ResNet-50)
Top-1 Localization Accuracy: 55.58

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过随机梯度阈值实现的快速显著性引导Mix-up | 论文 | HyperAI超神经