摘要

自监督学习（Self-supervised Learning, SSL）旨在不依赖标注数据的情况下，学习可迁移的特征表示，以服务于下游任务。Barlow Twins算法因其相较于对比学习方法（如对比学习）更广泛的应用与简洁的实现方式而备受关注，其核心思想是在最小化特征冗余的同时，最大化对常见数据扰动的不变性。通过优化这一目标，网络能够学习到更具实用性的特征表示，同时避免噪声或恒定不变的特征，从而在少量微调的情况下显著提升下游任务的性能。尽管Barlow Twins在预训练阶段表现出色，但其底层的SSL目标由于样本间缺乏强交互性（与对比学习方法相比），可能在实际训练中导致特征过拟合。我们的实验观察表明，单纯优化Barlow Twins目标并不能保证在预训练的某一阶段之后持续提升特征质量，甚至在某些数据集上可能导致下游性能下降。为应对这一挑战，我们提出混合Barlow Twins（Mixed Barlow Twins），通过在输入空间中对样本进行线性插值，增强训练过程中的样本交互性。该方法在原始Barlow Twins目标基础上引入了一项额外的正则化项，其假设是：输入空间中的线性插值会对应于特征空间中的线性插值。通过在预训练中引入这一正则化机制，有效缓解了特征过拟合问题，并显著提升了在CIFAR-10、CIFAR-100、TinyImageNet、STL-10以及ImageNet等数据集上的下游任务表现。相关代码与预训练模型权重已开源，地址为：https://github.com/wgcban/mix-bt.git