摘要

以随机掩码输入进行预训练已成为自监督学习领域的一项新兴趋势。然而，监督学习在采用掩码增强技术时仍面临训练不稳定的挑战。本文提出一种全新的掩码增强引入方式，称为掩码子分支（Masked Sub-branch, MaskSub）。MaskSub由主分支与子分支构成，其中子分支是主分支的一部分。在训练过程中，主分支遵循常规训练策略，而子分支则施加更为密集的掩码增强。通过引入一种类似自蒸馏（self-distillation）的松弛损失函数，MaskSub有效缓解了掩码增强带来的负面影响。我们的分析表明，MaskSub能够显著提升模型性能，且训练损失收敛速度优于标准训练方法，表明该方法有助于稳定训练过程。我们进一步在多种训练场景与模型架构中验证了MaskSub的有效性，涵盖DeiT-III训练、MAE微调、CLIP微调、BERT训练以及层级化架构（如ResNet与Swin Transformer）。实验结果表明，MaskSub在所有测试场景中均实现了稳定且显著的性能提升。该方法为在不同训练范式下引入额外正则化提供了一种实用且高效的技术路径。代码已开源，地址为：https://github.com/naver-ai/augsub。