摘要

本文并未提出一种新方法，而是针对计算机视觉领域近期取得显著进展背景下，一个简单但至关重要的基准方法展开研究：面向视觉Transformer（Vision Transformer, ViT）的自监督学习。尽管标准卷积网络的训练策略已高度成熟且稳健，但针对ViT的训练方法，尤其是自监督学习场景下的训练策略，仍处于初步构建阶段，训练过程也面临更大的挑战。在本研究中，我们回归基础，系统考察了若干关键训练组件对自监督ViT性能的影响。我们发现，训练不稳定性是导致模型精度下降的主要问题，且这一问题常被看似良好的实验结果所掩盖。我们揭示，这些表面表现良好的结果实则反映了部分训练失败，而当训练过程变得更加稳定时，性能可显著提升。我们以MoCo v3及其他多种自监督学习框架为基准，对ViT进行了全面的消融实验，涵盖多个维度。同时，本文也探讨了当前研究中已有的积极证据，以及仍面临的挑战与未解问题。我们期望本工作能为后续研究提供有价值的参考数据与实践经验。