3 个月前

AutoMix:揭示Mixup在构建更强分类器中的潜力

AutoMix:揭示Mixup在构建更强分类器中的潜力

摘要

数据混合增强(data mixing augmentation)已被证明能够有效提升深度神经网络的泛化能力。早期方法通常采用人工设计的策略(如线性插值)进行样本混合,而近期方法则利用显著性信息,通过复杂的离线优化过程来实现混合样本与标签的精准匹配。然而,这一过程在混合策略的精确性与优化复杂度之间形成了权衡。为解决该挑战,本文提出一种新颖的自动混合框架——AutoMix,其中混合策略以参数化形式表示,并直接服务于最终的分类目标。具体而言,AutoMix将混合分类任务重构为两个子任务(即混合样本生成与混合分类),并分别设计对应的子网络,通过双层优化框架协同求解。在样本生成方面,我们设计了一个可学习的轻量级混合生成模块——Mix Block,该模块通过建模图像块间的局部关系,在对应混合标签的直接监督下生成混合样本。为进一步缓解双层优化带来的退化与不稳定性问题,我们引入了一种动量流水线机制,实现AutoMix的端到端训练。在九个图像基准数据集上的大量实验表明,与当前最先进的方法相比,AutoMix在多种分类场景及下游任务中均展现出显著优越的性能。

代码仓库

Westlake-AI/AutoMix
pytorch
GitHub 中提及
Westlake-AI/openmixup
官方
pytorch
GitHub 中提及
zeyuanyin/tiny-imagenet
pytorch
GitHub 中提及

基准测试

基准方法指标
image-classification-on-cifar-10ResNeXt-50 (AutoMix)
Percentage correct: 97.84
image-classification-on-cifar-100WRN-28-8 +AutoMix
Percentage correct: 85.16
image-classification-on-cifar-100ResNeXt-50(32x4d) + AutoMix
Percentage correct: 83.64
image-classification-on-imagenetResNet-101 (AutoMix)
Number of params: 44.6M
Top 1 Accuracy: 80.98%
image-classification-on-imagenetResNet-34 (AutoMix)
Number of params: 21.8M
Top 1 Accuracy: 76.1%
image-classification-on-imagenetResNet-50 (AutoMix)
Number of params: 25.6M
Top 1 Accuracy: 79.25%
image-classification-on-imagenetResNet-18 (AutoMix)
Number of params: 11.7M
Top 1 Accuracy: 72.05%
image-classification-on-inaturalist-2018ResNet-50 (AutoMix)
Top-1 Accuracy: 64.73%
image-classification-on-inaturalist-2018ResNeXt-101 (AutoMix)
Top-1 Accuracy: 70.49%
image-classification-on-places205AutoMix (ResNet-50 Supervised)
Top 1 Accuracy: 64.1
image-classification-on-tiny-imagenet-1ResNet18 (AutoMix)
Validation Acc: 67.33%
image-classification-on-tiny-imagenet-1ResNeXt-50 (AutoMix)
Validation Acc: 70.72%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
AutoMix:揭示Mixup在构建更强分类器中的潜力 | 论文 | HyperAI超神经