摘要

基于自监督学习的卷积神经网络（CNN）表示学习已被证实对视觉任务具有显著有效性。作为CNN的替代方案，视觉Transformer（ViT）凭借其空间自注意力机制与通道级前馈网络，展现出强大的特征表示能力。近期研究表明，自监督学习有助于充分挖掘ViT的潜在性能。然而，大多数现有方法仍沿用为CNN设计的自监督策略，例如样本级别的判别任务，而忽视了ViT自身的独特性质。我们观察到，对空间维度与通道维度进行关系建模，是ViT区别于其他网络的关键特征。为此，我们提出一种面向自监督ViT训练的特征自关系（Self-RElation, SERE）机制。具体而言，我们不再仅依赖多视图特征嵌入进行自监督学习，而是引入特征自关系——即空间自关系与通道自关系——作为自监督学习的核心依据。基于自关系的训练进一步增强了ViT的关系建模能力，从而生成更具表达力的特征表示，并在多个下游任务中稳定提升性能。我们的开源代码已公开，地址为：https://github.com/MCG-NKU/SERE。