摘要

将图像视为由分割块组成的序列，视觉Transformer（Vision Transformers, ViTs）在多种视觉任务中表现出显著性能。由于图像块的分割会破坏原始图像的结构信息，为体现块之间的顺序关系，ViTs引入了一种显式的组件——位置嵌入（positional embedding）。然而，我们提出，位置嵌入的使用并不能简单地保证ViT具备对块顺序的感知能力。为支持这一观点，我们通过有效感受野（effective receptive field）分析了ViT的实际行为。研究发现，在训练过程中，ViT通过对位置嵌入的学习，逐渐理解了块的顺序信息，而该位置嵌入被训练为某种特定模式。基于这一观察，我们提出在注意力机制中显式引入高斯注意力偏置（Gaussian attention bias），以从训练初期就引导位置嵌入形成与该模式相对应的结构。我们在多个图像分类、目标检测和语义分割任务中评估了高斯注意力偏置对ViT性能的影响。实验结果表明，所提出的方法不仅有助于ViT更好地理解图像结构，还显著提升了其在多个基准数据集（包括ImageNet、COCO 2017和ADE20K）上的性能表现。