摘要

我们提出了一种新颖的伪负样本正则化（Pseudo-Negative Regularization, PNR）框架，以实现高效的持续自监督学习（Continual Self-Supervised Learning, CSSL）。该PNR框架通过模型驱动的增强方式生成伪负样本，确保新学习到的表示不会与以往所学知识产生矛盾。具体而言，针对基于InfoNCE的对比学习方法，我们定义了来自当前模型与先前模型的对称伪负样本，并将其同时应用于主损失项与正则化损失项。此外，我们将该思想拓展至不依赖负样本的非对比学习方法：对于这类方法，伪负样本被定义为先前模型对锚点样本不同增强版本的输出，并以非对称方式仅应用于正则化项。大量实验结果表明，所提出的PNR框架在持续自监督学习中实现了当前最优的表征学习性能，能够有效平衡模型的可塑性（plasticity）与稳定性（stability）之间的权衡。