摘要

本文提出了一种名为SimMIM的简单掩码图像建模框架。该框架在不依赖特殊设计（如分块掩码、基于离散VAE或聚类的标记化）的前提下，对近期提出的相关方法进行了简化。为探究掩码图像建模任务为何能够学习到良好的表示，我们系统性地分析了框架中的关键组件，发现每个组件采用简单设计即可展现出极强的表示学习能力：1）对输入图像进行随机掩码，并采用中等偏大的掩码块尺寸（例如32×32），即可构成一个强有力的预训练任务；2）通过直接回归预测RGB像素值，其性能不逊于采用复杂设计的patch分类方法；3）预测头可简化为仅含一个线性层的轻量结构，其性能与更复杂的结构相当。基于ViT-B模型，我们在ImageNet-1K数据集上进行预训练和微调，取得了83.8%的Top-1准确率，较此前最优方法提升0.6%。当应用于参数量约为6.5亿的更大模型SwinV2-H时，仅使用ImageNet-1K数据，即实现了87.1%的Top-1准确率。此外，我们进一步将该方法用于训练一个30亿参数的模型（SwinV2-G），仅需此前实践所需数据量的1/40，便在四个具有代表性的视觉基准测试中达到了当前最优性能。相关代码与模型将公开发布于：https://github.com/microsoft/SimMIM。