摘要

Transformer 模型在建模长期记忆方面表现不佳，原因在于其所需计算量随上下文长度的增加而增长。尽管已有多种高效 Transformer 变体被提出，但它们均存在有限的记忆容量，不得不丢弃旧信息。本文提出了一种名为 $\infty$-former 的新型架构，通过引入无限长的长期记忆机制，扩展了原始 Transformer 的能力。该模型利用一种连续空间注意力机制来访问长期记忆，使得注意力计算复杂度与上下文长度无关，从而在记忆长度与精度之间实现权衡。为控制精度优先的区域，$\infty$-former 引入了“粘性记忆”（sticky memories）机制，能够在保持固定计算预算的前提下，建模任意长度的上下文。在合成排序任务、语言建模以及文档驱动对话生成等实验中，$\infty$-former 展现了有效保留长序列信息的强大能力。