摘要

近期研究表明，采用合适的自监督学习方法是提升监督学习性能的一种有前景的途径。然而，由于以往的预训练任务主要针对无监督表征学习而设计，自监督学习的优势尚未得到充分挖掘。为此，我们首先提出三种理想辅助任务应具备的性质，以有效辅助监督学习目标：第一，任务应引导模型学习到丰富且具有判别性的特征；第二，自监督过程中所采用的变换不应显著改变训练数据的分布；第三，任务应尽可能轻量且通用，以确保其对现有方法具有广泛的适用性。为验证现有预训练任务如何满足上述要求并适配监督学习，我们提出一种简单而有效的辅助自监督任务——可定位旋转预测（Localizable Rotation, LoRot）。大量实验结果表明，LoRot作为专为监督学习优化的预训练任务，在模型的鲁棒性与泛化能力方面均展现出显著优势。相关代码已开源，地址为：https://github.com/wjun0830/Localizable-Rotation。