摘要

尽管深度神经网络在拟合训练数据分布方面表现出色，但其所学习的模型容易出现过拟合现象，且对对抗攻击较为敏感。为此，近期提出了一系列基于Mixup的数据增强方法。然而，这些方法主要致力于生成此前未见过的虚拟样本，有时反而会向网络提供误导性的监督信号。针对这一问题，我们提出了Puzzle Mix，一种能够显式利用自然样本显著性信息及其底层统计特性的Mixup方法。该方法引出了一个有趣的优化问题，其交替优化过程包含两个部分：一是针对最优混合掩码的多标签目标函数，二是基于显著性加权的最优传输目标函数。实验结果表明，在CIFAR-100、Tiny-ImageNet和ImageNet等数据集上，Puzzle Mix在泛化性能与对抗鲁棒性方面均优于现有的其他Mixup方法，达到了当前最优水平。项目源代码已公开，地址为：https://github.com/snu-mllab/PuzzleMix。