摘要

近年来，自注意力机制与纯多层感知机（MLP）模型在视觉领域的进展展现出巨大潜力，能够在减少归纳偏置的前提下实现优异的性能。这类模型通常通过直接从原始数据中学习空间位置之间的交互关系来工作。然而，自注意力机制与MLP的计算复杂度随图像尺寸的增加呈二次增长，这使得当需要高分辨率特征时，模型难以有效扩展。本文提出一种概念简洁且计算高效的架构——全局滤波网络（Global Filter Network, GFNet），该模型在频域中以对数线性复杂度学习长期空间依赖关系。GFNet将视觉Transformer中的自注意力层替换为三个核心操作：二维离散傅里叶变换（2D Discrete Fourier Transform）、频域特征与可学习全局滤波器之间的逐元素乘法，以及二维逆傅里叶变换（2D Inverse Fourier Transform）。我们在ImageNet基准以及多个下游任务上验证了GFNet在准确率与计算复杂度之间的优越权衡。实验结果表明，GFNet在效率、泛化能力与鲁棒性方面，可作为Transformer类模型与卷积神经网络（CNN）的强有力替代方案。代码已开源，地址为：https://github.com/raoyongming/GFNet