摘要

现代分层视觉变换器在追求监督分类性能的过程中添加了多个视觉特定组件。尽管这些组件提高了模型的有效精度并降低了浮点运算次数（FLOPs），但增加的复杂性实际上使得这些变换器比其基础版本的视觉变换器（ViT）运行得更慢。在本文中，我们认为这种额外的复杂性是不必要的。通过使用强大的视觉预训练任务（如掩码自动编码器（MAE）），我们可以从最先进的多阶段视觉变换器中移除所有附加组件而不损失精度。在此过程中，我们创建了Hiera，这是一种极其简单的分层视觉变换器，不仅比之前的模型更准确，而且在推理和训练过程中都显著更快。我们在多种图像和视频识别任务上对Hiera进行了评估。我们的代码和模型可在https://github.com/facebookresearch/hiera 获取。