
摘要
数据混合增强(data mixing augmentation)已被证明能够有效提升深度神经网络的泛化能力。早期方法通常采用人工设计的策略(如线性插值)进行样本混合,而近期方法则利用显著性信息,通过复杂的离线优化过程来实现混合样本与标签的精准匹配。然而,这一过程在混合策略的精确性与优化复杂度之间形成了权衡。为解决该挑战,本文提出一种新颖的自动混合框架——AutoMix,其中混合策略以参数化形式表示,并直接服务于最终的分类目标。具体而言,AutoMix将混合分类任务重构为两个子任务(即混合样本生成与混合分类),并分别设计对应的子网络,通过双层优化框架协同求解。在样本生成方面,我们设计了一个可学习的轻量级混合生成模块——Mix Block,该模块通过建模图像块间的局部关系,在对应混合标签的直接监督下生成混合样本。为进一步缓解双层优化带来的退化与不稳定性问题,我们引入了一种动量流水线机制,实现AutoMix的端到端训练。在九个图像基准数据集上的大量实验表明,与当前最先进的方法相比,AutoMix在多种分类场景及下游任务中均展现出显著优越的性能。
代码仓库
Westlake-AI/AutoMix
pytorch
GitHub 中提及
Westlake-AI/openmixup
官方
pytorch
GitHub 中提及
zeyuanyin/tiny-imagenet
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-cifar-10 | ResNeXt-50 (AutoMix) | Percentage correct: 97.84 |
| image-classification-on-cifar-100 | WRN-28-8 +AutoMix | Percentage correct: 85.16 |
| image-classification-on-cifar-100 | ResNeXt-50(32x4d) + AutoMix | Percentage correct: 83.64 |
| image-classification-on-imagenet | ResNet-101 (AutoMix) | Number of params: 44.6M Top 1 Accuracy: 80.98% |
| image-classification-on-imagenet | ResNet-34 (AutoMix) | Number of params: 21.8M Top 1 Accuracy: 76.1% |
| image-classification-on-imagenet | ResNet-50 (AutoMix) | Number of params: 25.6M Top 1 Accuracy: 79.25% |
| image-classification-on-imagenet | ResNet-18 (AutoMix) | Number of params: 11.7M Top 1 Accuracy: 72.05% |
| image-classification-on-inaturalist-2018 | ResNet-50 (AutoMix) | Top-1 Accuracy: 64.73% |
| image-classification-on-inaturalist-2018 | ResNeXt-101 (AutoMix) | Top-1 Accuracy: 70.49% |
| image-classification-on-places205 | AutoMix (ResNet-50 Supervised) | Top 1 Accuracy: 64.1 |
| image-classification-on-tiny-imagenet-1 | ResNet18 (AutoMix) | Validation Acc: 67.33% |
| image-classification-on-tiny-imagenet-1 | ResNeXt-50 (AutoMix) | Validation Acc: 70.72% |