摘要

Mixup 是一种广为人知的数据依赖型增强技术，广泛应用于深度神经网络（DNNs）中，其核心包含两个子任务：Mixup 样本生成与分类。然而，当前主流的在线训练方法将 Mixup 限制在监督学习（Supervised Learning, SL）场景下，且生成子任务的目标仅聚焦于特定样本对，而非整个数据流形（data manifold），这可能导致生成结果趋于平凡解（trivial solutions）。为克服上述局限，本文系统地研究了 Mixup 生成任务的目标函数，并提出一种适用于监督学习与自监督学习（Self-supervised Learning, SSL）两种场景的统一方法——Scenario-Agnostic Mixup（SAMix）。具体而言，我们提出并验证了一个关键假设：Mixup 生成的目标应是在保证与其他类别全局可区分性的前提下，优化两类混合样本之间的局部平滑性。基于此，我们设计了 $η$-平衡的 Mixup 损失函数，以实现两个子目标之间的互补学习。同时，我们引入了一种无需标签的生成子网络，能够有效生成非平凡的 Mixup 样本，显著提升模型的可迁移性。此外，为降低在线训练的计算开销，我们进一步提出了预训练版本 SAMix$^\mathcal{P}$，在保持优异性能的同时，显著提升了训练效率与泛化能力。在九个监督学习与自监督学习基准上的大量实验结果表明，SAMix 相较于现有方法展现出一致的优越性与广泛适用性。