摘要

Transformer注意力机制在设计上的若干选择，包括较弱的归纳偏置（inductive bias）以及二次方时间复杂度，限制了其在建模长序列任务中的应用。本文提出Mega，一种简洁且具有理论基础的单头门控注意力机制，通过引入（指数）移动平均方法，将位置感知的局部依赖归纳偏置融入原本对位置不敏感的注意力机制中。此外，我们进一步提出Mega的一种变体，通过高效地将整个序列划分为固定长度的多个片段，实现了线性的时间与空间复杂度，同时仅带来微小的性能损失。在广泛的任务基准上进行的大量实验表明，包括长序列基准（Long Range Arena）、神经机器翻译、自回归语言建模以及图像与语音分类任务，Mega在性能上显著优于其他序列建模模型，包括各类Transformer变体以及近期的状态空间模型（state space models）。