Command Palette
Search for a command to run...
用于持续学习的快速权重注意力
用于持续学习的快速权重注意力
摘要
循环快速权重记忆和选择性状态空间模型将不断扩展的上下文压缩为固定大小的循环状态，使状态转换成为一种在线学习规则。我们在写后读自回归语义下研究该规则。对于此处考虑的前缀预测目标，在步骤 t 处揭示的局部快速记忆示例是前缀对齐对 (xt,yt) = (ϕ(kt−1),vt)。常见的同一步关联 (ϕ(kt), vt) 仍然是因果的，但优化了不同的内部目标。我们推导了平方误差回归和负内积目标的归一化一阶更新。回归族包括 Falcon-1（标量 NLMS 更新）、Falcon-2（其逐列扩展）和 Falcon-3（滑动窗口小批量更新）；Falcon-1A/Falcon-2A/Falcon-3A 是对应的内积变体。我们提供了循环、掩码并行和分块并行形式，以及数值稳定的正衰减重归一化。代表性变体在语言建模中保持竞争力，并在变长数字加法上改善了长度外推。该框架将循环序列模型中的时间对齐、可塑性、遗忘和有界排练分离开来。
一句话总结
来自字节跳动 Seed、普林斯顿大学、清华大学、加州大学洛杉矶分校和 Hyperbolic Labs 的研究者提出了一种用于持续学习的快权重注意力框架，该框架为平方误差回归和负内积目标推导了归一化一阶更新，引入了 Falcon-1/2/3 变体（及其内积对应版本 Falcon-1A/2A/3A），这些变体在语言建模中保持竞争力，并改善了变长数字加法任务上的长度外推能力。
核心贡献
- 引入了一个统一的归一化快权重更新家族：Falcon-1/2/3 用于平方误差回归，Falcon-1A/2A/3A 用于负内积目标，这些更新在读写后置的自回归语义下推导，使用前缀对齐的因果配对 (ϕ(kt−1),vt)。
- 提供了循环、掩码并行和分块并行实现，具有数值稳定的正衰减重归一化，将时间对齐、可塑性、遗忘和有界排练分离，同时保持与 SSD 风格分块并行训练的兼容性。
- 展示了具有代表性的标量回归和标量/滑动内积变体在语言建模中保持竞争力，且最佳内积变体改善了变长数字加法上的长度外推能力。
引言
Transformer 主导现代语言建模，因为自注意力能够捕获全局依赖关系，但其序列长度的二次方缩放带来了计算和内存方面的主要瓶颈，尤其是在长上下文场景中。诸如 SSM 和快权重模型之类的循环替代方案将内存压缩为固定状态，但其状态更新规则往往在架构层面呈现，使得底层学习目标隐含不清。这种模糊性导致了时间对齐不匹配：许多循环机制绑定同一步配对（键，值），而自回归预测要求将新揭示的目标与预测时可用的前缀特征配对，这一区别影响了快内存的训练方式。
作者通过将基于状态的序列建模重新定义为自回归下一潜在变量预测来解决这一问题，使快内存训练目标显式化。他们推导了一个统一的归一化一阶更新家族，即 Falcon-1、Falcon-2 和 Falcon-3，以及内积对应版本 Falcon-1A、Falcon-2A 和 Falcon-3A，这些更新分离了时间对齐、可塑性、遗忘和有界排练。这些更新保持与分块并行训练的兼容性，作者提供了实现和实证评估，展示了有竞争力的语言建模性能和改进的算术长度外推能力。
方法
2 背景
2.2 线性注意力
线性注意力通过用核特征映射 ϕ(⋅):Rd→Rm 替代 softmax 来规避标准注意力的 O(N2) 复杂度，使得 κ(qt,kj)=ϕ(qt)⊤ϕ(kj)。利用矩阵乘法的结合性，第 t 个 token 的输出 ot∈Rdv 为：
ot=∑j=1tϕ(qt)⊤ϕ(kj)∑j=1tϕ(qt)⊤ϕ(kj)vj=ϕ(qt)⊤∑j=1tϕ(kj)(∑j=1tϕ(kj)vj⊤)⊤ϕ(qt),该公式允许将上下文压缩为循环矩阵状态 St∈Rm×dv 和归一化器 zt∈Rm：
ot=zt⊤ϕ(qt)+εattnSt⊤ϕ(qt),St=St−1+ϕ(kt)vt⊤,zt=zt−1+ϕ(kt).对于新序列，当 S0=0、z0=0、εattn=0 且分母非零时，式 (2.2) 与式 (2.1) 完全等价。当 εattn>0 时，这是通常的稳定正特征变体。归一化形式仅在读取归一化器非负时才具有注意力类似的形式；有符号特征的注意事项见附录 C.2。
因果性与索引。 式 (2.2) 遵循标准 Transformer 约定：在位置 t，从更新后的状态 (St,zt) 读取，所得表示用于预测 token t+1。作者的下一潜在变量对齐将写入流偏移一位：在观察到 vt 后，将其写入前一个写入特征 ϕ(kt−1) 之下，等价地，在标准索引下为 (ϕ(ki),vi+1)，其中 i=t−1。这产生了读写后置的循环：
ot=zt⊤ϕ(qt)+εattnSt⊤ϕ(qt),St=St−1+ϕ(kt−1)vt⊤,zt=zt−1+ϕ(kt−1),其中 εattn≥0 是一个小的稳定化常数。定义偏移后的写入特征流：
x1:=0,xt:=ϕ(kt−1)for t≥2,当 εattn=0 时，式 (2.3) 与式 (2.2) 完全相同，只需将标准写入特征流 {ϕ(kt)}t=1T 替换为 {xt}t=1T；当 εattn>0 时，这是对应的稳定化偏移变体。因此，边界条件在特征空间中施加，而非在原始键空间中。
归一化与非归一化线性注意力。 式 (2.1) 中的分母使用归一化器状态 zt 来重新缩放读取输出。许多 SSM/SSD 风格架构则丢弃分母（以及 zt），使用非归一化的内积读取：
ot=St⊤ϕ(qt),St=(1−ηtλt)St−1+ηtϕ(kt−1)vt⊤,通过将 kt−1 替换为 kt 可恢复非偏移约定。在这种无分母形式中，状态幅度和有效内存时间尺度由显式衰减（例如 λt>0）和/或增益控制来管理。第 4.3 节表明，式 (2.4) 中的分子状态更新正是内积目标上的梯度下降。归一化变体中的辅助归一化器 zt 是读取分母的独立簿记状态；它本身并非由该目标获得。
相应地，式 (2.4) 是第 4.3 节内积目标的梯度下降更新。当 λt=0 时，写入是纯加性的秩一 Hebbian 学习；当 λt>0 时，是加性加标量收缩。如第 2.1 节所述，Mamba-2 证明了无归一化器循环在 SSD 框架下功能上等价于特定类别的 SSM。
2.3 Delta 网络
快权重编程器和 Delta 网络将序列建模表述为值检索函数的在线学习。设 St−1∈Rd×dv 为快权重状态矩阵。标准 Delta 网络不是纯加性累积，而是采用由状态对当前键和值的重建之间的瞬时平方误差梯度推导的误差驱动更新：
ℓt(S):=21S⊤kt−vt22.这里，S⊤k 表示模型在给定键 k 时对值 vt 的预测。关于状态的梯度为 ∇Sℓt(S)=kt(S⊤kt−vt)⊤。
Delta 规则。 用 ηt 表示梯度步长；后续 βt 表示无量纲归一化增益，ηt 表示由此产生的步长。单步在线梯度更新为：
St=St−1−ηtkt(St−1⊤kt−vt)⊤=(I−ηtktkt⊤)St−1+ηtktvt⊤.秩一因子沿当前键方向执行定向收缩/编辑；仅当 ηt=1/∥kt∥22 时才成为正交投影。门控 Delta 网络增加了显式的全局衰减门；符号和比较细节见附录 C.3。
3 自回归下一潜在变量预测
在本节中，作者将循环写入表述为显式的在线优化问题。在读写后置约定下，第 t 步揭示的因果示例将新观察到的目标与预测该目标时可用的前缀写入特征配对，即 xt=ϕ(kt−1) 和 yt=vt。标准 DeltaNet 使用同一步配对 (ϕ(kt),vt)；该配对仍然是因果的，但对应于不同的局部快内存目标。因此，作者将 S 建模为从 xt 到 yt 的在线线性预测器，并优化瞬时岭回归损失：
ℓt(S)≜21S⊤xt−yt22+2λt∥S∥F2,其中 λt≥0 是正则化系数。虽然累积损失的完整批次最小化对应于 MesaNet 等方法中的离线解，但高效的自回归建模需要在线近似。因此，作者采用在线梯度下降（OGD）。
符号说明。 在核化线性注意力中，写入内存的键通常是特征向量 ϕ(k)∈Rm 而非原始键 k∈Rd。本节中的所有推导均按以下方式解释：
xt≡ϕ(kt−1)∈Rm,St∈Rm×dv,因此 xt 被视为通用写入特征。用于检索的查询（例如线性注意力中的 ϕ(qt)）位于同一特征空间中，但不必等于 xt。当摘要句非正式地提及原始键空间中的配对时，数学上精确的核化对象是对应的写入特征。
隐式快内存目标。 式 (3.1) 是瞬时目标，其梯度步定义了快内存写入规则；它不是外层自回归似然之外的额外监督损失。在训练期间，作者通过更新进行微分，使得慢权重（产生 (q,k,v) 以及 βt,λt）学习使这些局部更新有用的表示和门控。
索引与因果性约定。 全程使用读写后置（RAW）约定：在观察到 token t 并写入后，读取更新后的状态 St 以预测 token t+1。在下一潜在变量对齐下，因果写入对为 (ϕ(kt−1),vt)，等价地，在标准索引下为 (ϕ(ki),vi+1)。作者设置 S0=0 并施加特征空间边界 x1:=0。对于具有显式收缩的更新规则，边界哨兵也分配 η1:=0（等价地，在对数空间符号中 α1=0,γ1=1）；否则 λ1>0 会衰减携带的状态，即使没有写入数据对。详细的 RAW/RBW 和边界约定见附录 C.5。
在此约定下，内部快内存预测为 yt:=St−1⊤xt，残差为 rt=yt−yt。这与位置 t 处的模型读出不同，后者在 RAW 下使用更新后的状态 St。
快内存作为持续学习。 循环状态是在前向传播中更新的快内存；每个 token 提供一个局部训练对 (xt,yt)。在整个家族中，βt 控制可塑性，λt 控制收缩/遗忘；实际实现的 ηt 取决于局部归一化统计量，该统计量对于回归是平滑度匹配的，对于内积实现是基于能量的。
3.1 在线梯度下降更新
式 (3.1) 中瞬时损失关于状态 S 的梯度为：
∇Sℓt(S)=xt(S⊤xt−yt)⊤+λtS.以学习率 ηt 应用单步梯度下降得到更新规则：
St←St−1−ηt∇Sℓt(St−1)=St−1−ηt[xt(St−1⊤xt−yt)⊤+λtSt−1]=(1−ηtλt)St−1+ηtxtrt⊤,其中 rt≜yt−St−1⊤xt 是残差（预测误差）。注意，与标准 Delta 网络不同，rt 衡量的是从前一个写入特征 xt=ϕ(kt−1) 的预测与当前值 vt 之间的差异。
这是瞬时岭目标上的梯度下降。使用下面的归一化步长后，它变为归一化更新。在特殊情况 λt=0 和 ε=0 下，它精确退化为经典 NLMS 递归；当 ε>0 时，是通常的稳定化 NLMS 变体。具体而言，损失 ℓt 关于 Frobenius 范数是 Lt-光滑的，光滑常数为 Lt=∥xt∥22+λt。为确保数值稳定性和尺度鲁棒性，作者采用归一化步长：
ηt=∥xt∥22+λt+εβt,βt∈(0,2),ε≥0.作者约定当 ∥xt∥22+λt+ε=0 时 ηt:=0，并且在边界哨兵 t=1 处使用 x1=0 表示"无因果对"时同样如此。在分析中，可取 ε=0 并假设 Lt>0。在实现中，使用 ε>0 以保证数值鲁棒性；任何 ε>0 只会减小 ηt，因此保留下面的下降保证。
附录 C.6 记录了次要实现细节，包括 βt>1 的符号翻转区间和对数空间展开下岭收缩的正衰减解释。
3.2 分析
作者证明了归一化步长在瞬时正则化目标 ℓt 上产生每步下降，这是一个基本的局部稳定性性质。该陈述在 t 上是逐点的：它不意味着累积在线损失 ∑sℓs 或外层自回归训练目标的单调递减。
引理 3.1（光滑损失的每步下降）。 设 f:Rdx×dv→R 关于 Frobenius 范数是 L-光滑的。对于任意步长 η∈(0,2/L)，梯度步 S+=S−η∇f(S) 满足：
f(S+)≤f(S)−2η(2−ηL)∥∇f(S)∥F2.证明。 由 L-光滑性，对于任意 S 和 S′：
f(S′)≤f(S)+⟨∇f(S),S′−S⟩+2L∥S′−S∥F2.令 S′=S+=S−η∇f(S) 并化简。
步长参数化。 选择 η=β/L 且 β∈(0,2)（因此要求 L>0）产生下降系数 β(2−β)/(2L)。对于 L>0，稳定化选择 η=β/(L+ε) 且 ε≥0 也位于 (0,2/L) 内。当 L=0 时，该区间未定义；在此处出现的退化情况中（xt=0 且 λt=0，或对应的窗口化类似物），梯度为零，因此通过设置 η:=0 将更新定义为无操作。
3.3 Delta 网络作为回归
在本节中，作者在此优化框架下解释许多先前的快权重模型。他们观察到 Delta 网络和线性注意力可以视为由特定在线目标函数诱导的梯度更新。
通过代入回归赋值 xt←ϕ(kt−1) 和 yt←vt，式 (3.3) 恢复了 Delta 网络更新规则的函数形式，但具有关键的索引偏移：
St=Decay & Targeted Forget((1−ηtλt)Idx−ηtxtxt⊤)St−1+Writeηtxtyt⊤,xt=ϕ(kt−1),yt=vt.这里，秩一项 xtxt⊤St−1 是平方误差损失沿当前写入特征方向的左 Hessian 作用。直观上，它在添加新目标 yt=vt 之前减少了当前预测器作用于 xt=ϕ(kt−1) 的分量。
相反，将回归（MSE）损失替换为第 4.3 节的内积目标会移除残差项并产生加性写入。使用标准的非偏移赋值 (xt,yt)=(ϕ(kt),vt)（或非核化情况下的 (kt,vt)），这就是熟悉的线性注意力/Mamba-2 累积。使用下一潜在变量赋值 (xt,yt)=(ϕ(kt−1),vt)，它变为作者方法中使用的一步偏移变体（例如第 4.5 节的 Falcon-3A）。
这种回归视角激发了一个关键的算法改进，作者在第 4 节中分析：使用目标匹配的归一化时，秩一回归步使用 Lt=∥xt∥22+λt，而滑动规则使用 Lt(B)=λmax(Cˉt(B))+λt。这表明固定学习率对于回归风格快权重更新是尺度不匹配的；对于内积写入，相同的归一化更适合视为幅度稳定器而非曲率要求。
附录 A.2 给出了顺序一阶在线岭更新的参考伪代码。
4 Falcon：快权重注意力
快权重内存和线性注意力架构可以解释为在前向传播期间更新循环内存的在线模型，可追溯到经典的快权重机制及其在线性 Transformer 和 Delta 风格规则中的现代实例化。在本节中，作者在偏移的 ϕ(kt−1)vt 对齐下从两个局部目标推导 Falcon：平方误差回归和负内积目标。这产生了归一化步长、显式遗忘控制和滑动窗口变体。
命名和公式总结。 所有变体使用相同的因果对：
xt:=ϕ(kt−1),yt:=vt,x1:=0,η1:=0,并在写入后读取，ot=St⊤ϕ(qt)。设 rt:=yt−St−1⊤xt，Diag(ηt) 表示逐列步长的对角矩阵。回归家族为：
Falcon-1:St=(1−ηtλt)St−1+ηtxtrt⊤,ηt=∥xt∥22+λt+εβt, Falcon-2:St=St−1(Idv−λtDiag(ηt))+xt(ηt⊙rt)⊤,ηj,t=∥xt∥22+λt+εβj,t, Falcon-3:St=(1−ηtλt)St−1+Btηtj∈It∑xj(yj−St−1⊤xj)⊤,ηt=μt(B)+λt+εβt.这里 μt(B)=λmax(Bt−1∑j∈Itxjxj⊤)。内积家族将残差回归写入替换为直接目标写入：
Falcon-1A:St=(1−ηtλt)St−1+ηtxtyt⊤,ηt=Et+λt+εβt, Falcon-2A:St=St−1(Idv−λtDiag(ηt))+xt(ηt⊙yt)⊤,ηj,t=Et+λt+εβj,t, Falcon-3A:St=(1−ηtλt)St−1+ηtNˉt(B),ηt=Eˉt(B)+λt+εβt,其中 Et=∥xt∥22，Nˉt(B)=Bt−1∑j∈Itxjyj⊤，Eˉt(B)=Bt−1∑j∈It∥xj∥22。因此，索引 1/2/3 分别表示标量、逐列和滑动窗口动态。后缀"A"表示内积目标。
4.1 缩放线性注意力和缩放 DeltaNet
与使用缩放点积 ⟨q,k⟩/d 的 softmax 注意力不同，快权重循环直接对查询和键的范数敏感：(i) 点积读取随 ∥qt∥2∥k∥2 增长，(ii) 加性（内积）写入随写入特征范数增长。为稳定读取和写入流，尤其是在长解码范围和混合精度下，作者使用显式特征缩放/归一化。
缩放特征。 作者为向量 u∈Rdu 定义通用 RMS 归一化算子：
RMSNorm(u):=∥u∥22/du+εrmsu,其中 εrms>0 是一个小的稳定化常数。除非另有说明，RMSNorm 应用于快权重读取/写入使用的 (qt,kt) 投影，在形成点积或外积之前。该默认设置不同于常见的 ℓ2 归一化 DeltaNet 变体（例如 Gated DeltaNet 实现中），并且在混合精度下显著更稳定，因为标准 RMSNorm 保持坐标幅度为 Θ(1)。此外：
∥RMSNorm(u)∥22=∥u∥22+duεrmsdu∥u∥22≤du,因此在通常的 ∥u∥22≫duεrms 区间内，确实有 ∥RMSNorm(u)∥22≈du。默认情况下，值 vt 不被归一化；值归一化（VNorm）是可选的，除非显式启用否则禁用。
缩放线性注意力。 在下一潜在变量对齐下，RMS 归一化投影在特征空间中使用。标量无分母内积循环，记为 Falcon-1A，为：
ot=St⊤ϕ(qt),St=(1−ηtλt)St−1+ηtxtvt⊤,xt:=ϕ(kt−1).其逐列对应版本 Falcon-2A 将标量写入增益替换为向量 ηt∈Rdv：
St=St−1(Idv−λtDiag(ηt))+xt(ηt⊙vt)⊤.对应的归一化分子/分母循环记录在附录 C.1 中；在有符号特征设置中，附录 C.2 中的分母注意事项适用。
缩放 DeltaNet 和常见岭参数化。 对于回归风格快权重，相同的缩放写入特征 xt 在 NLMS 更新中使用：
St=(1−ηtλt)St−1+ηtxt(vt−St−1⊤xt)⊤,ηt=∥xt∥22+λt+εβt.在缩放实现中，网络可以输出无量纲基础岭 λˉt，该值转换为循环使用的实际系数 λt=λˉtEt，其中 Et 是适当的归一化统计量：Falcon-2 使用 ∥xt∥22，Falcon-3 使用 μt(B):=λmax(Cˉt(B))。然后设置：
ηt=Et+λt+εβt,αt:=ηtλt,γt:=1−αt.这里，对于非滑动标量/逐列规则（Falcon-1/Falcon-2 和 Falcon-1A/Falcon-2A），Et=∥xt∥22，而 Falcon-3 使用 Et=μt(B)，Falcon-3A 使用 Et=E^t(B)。对于回归，Et 是数据项的局部平滑度尺度；对于内积写入，第 4.3 和 4.5 节中对应的能量统计量是实际的写入幅度控制。精确的尺度鲁棒性恒等式、分离统计量细节、归一化线性注意力循环和对数空间正衰减处理见附录 C.1 和附录 C.6。
4.2 回归损失（Delta 网络）
作者将状态更新表述为自回归线性回归问题。在时间步 t，设状态为 St−1∈Rdx×dv，写入特征为 xt≜ϕ(kt−1)∈Rdx，目标为 yt≜vt∈Rdv。（在非核化情况下，ϕ 为恒等映射，dx=d。）状态 St−1 充当线性预测器，将前缀特征 xt 映射到新观察到的目标 yt。
瞬时平方误差损失为：
ft(S):=21S⊤xt−yt22.在更新前状态处评估时，残差为 rt≜yt−St−1⊤xt。关于状态的梯度为：
∇Sft(St−1)=xt(St−1⊤xt−yt)⊤=−xtrt⊤.Delta 更新（标准 vs. 下一潜在变量）。 以学习率 ηt 执行单步在线梯度下降（OGD）得到 Delta 更新：
St=St−1−ηt∇Sft(St−1)=St−1+ηtxtrt⊤=(Idx−ηtxtxt⊤)St−1+ηtxtyt⊤.在下一潜在变量对齐下，有 xt=ϕ(kt−1) 和 yt=vt。将 kt−1 替换为 kt（等价地，xt←ϕ(kt)）恢复 Schlag 等人的非偏移 DeltaNet 更新。
L2 正则化。 在瞬时损失中添加 L2 惩罚 2λt∥S∥F2 会在在线更新中产生收缩项 −ηtλtSt−1（参见式 (3.3)）。在归一化步长下，这产生乘法因子 (1−ηtλt)，作者将其视为简单可控的遗忘机制。
Falcon-2：自适应学习率。 作者提出 Falcon-2，将 NLMS 风格归一化与逐通道自适应学习率相结合。在附录 F 中，他们推导了向量化对偶形式，使逐列自适应性在 GPU 上计算可行。这允许步长为向量 ηt∈Rdv，为每个值通道（S 的列）独立定制更新幅度。在此处研究的模型中，使用标准多头分解：每个头携带自己的快状态，并在该头内独立应用相同的逐列规则。
逐列 NLMS 步长。 具体而言，使用跨列共享的 NLMS 风格归一化器，并带有学习的逐列增益（等价地，逐输出特征/列增益）：
ηj,t=∥xt∥22+λt+εβj,t,βj,t∈(0,2),ε>0.当 λt=0、ε=0 且增益跨通道绑定时（βj,t≡βt），这退化为经典标量 NLMS 步长；否则，它是具有共享归一化器的逐列 NLMS 推广。由于平方误差（岭）损失在值坐标（S 的列）上分解，引理 3.1 的每步下降论证在 0<βj,t<2 对所有 j 成立时逐列适用。等价地，Falcon-2 是在可分离目标上的一组 dv 个独立标量步更新，而非具有完整矩阵值学习率的单个 Frobenius 梯度步。
更新规则。 设 ηt=(η1,t,…,ηdv,t)⊤。更新可以紧凑地写为：
St=St−1(Idv−λtDiag(ηt))+xt(ηt⊙rt)⊤,展开的编辑分解（将逐列收缩路径与特征方向编辑分离）见附录 F。
与 RWKV-7 和 Kimi 线性注意力的关系。 与 RWKV-7 和 Kimi 线性注意力的简要比较移至附录 C.6。
等价的逐列递归和分块并行核使用的对数空间正衰减重归一化见附录 F。
分块并行实现。 Falcon-2 可以通过沿长度轴分块并在每个块内使用 Gram/WY 表示来进行序列并行训练。在此处使用的多头设置中，该计算在每个头内独立应用。在块内，WY/Gram 形式构建共享键 Gram 矩阵和通道相关的单位下三角系统。注入值和投影历史路径共享该三角因子，因此实现求解一个合并的残差系统而非两个。这在前向传播中移除了每个块的一个批量 TriSolve，而不改变循环或渐近复杂度，并反映了 Comba 中强调的单求逆形式。算法 1 给出了单头 Falcon-2 分块前向传播，使用与实现相同的正衰减约定。无岭秩一情况通过设置 λt=0 恢复，此时 γt,j=1 且块局部重缩放变为恒等映射。附录 F 给出了精确的 WY/Gram 代数和复杂度分析。
4.3 内积损失（线性注意力和 Mamba-2）
作者现在考虑一个鼓励状态预测与目标对齐的内积目标。它以最小化形式写出，带有可选的 L2 惩罚：
ℓtip(S)≜−⟨S⊤xt,yt⟩+2λt∥S∥F2,λt≥0.当 λt=0 时，目标关于 S 是线性的（无有限最小化器），梯度下降退化为纯加性 Hebbian 写入。
标准 vs. 下一潜在变量对齐。 如果选择非偏移特征 (xt,yt)=(ϕ(kt),vt)（或非核化情况下的 (kt,vt)），下面的加性更新匹配通常的线性注意力写入 ϕ(kt)vt⊤（式 (2.2)）。下一潜在变量框架则使用 (xt,yt)=(ϕ(kt−1),vt)，产生一步偏移的写入流。
Falcon-A 变体和符号。 后缀"A"用于内积目标，数字索引与回归家族保持对齐。因此 Falcon-1A 是标量非滑动内积规则，Falcon-2A 是逐列非滑动内积规则，Falcon-3A 是第 4.5 节中的滑动窗口内积规则。与 Falcon-1/Falcon-2/Falcon-3 一样，βt 表示无量纲增益，λt 表示循环使用的实际收缩系数（直接获得或通过上述相同的尺度耦合构造获得），ηt 表示由此产生的步长。对于内积家族，该步长应理解为能量归一化写入增益，而非曲率匹配分母。任何衰减分数 αt:=ηtλt 都是推导出来的，而非独立参数化的。
梯度和更新。 式 (4.5) 的梯度为：
∇Sℓtip(S)=−xtyt⊤+λtS.标量梯度步给出线性注意力/Mamba-2 风格更新，作者记为 Falcon-1A：
St=(1−ηtλt)St−1+ηtxtyt⊤,其中在下一潜在变量对齐下 xt=ϕ(kt−1) 和 yt=vt。设置 λt=0 恢复通常的加性写入 St=St−1+ηtxtyt⊤。
Falcon-2A：逐列内积写入。 由于式 (4.5) 在值坐标上分解，每列可以使用自己的能量归一化学习率。定义：
ηt:=(η1,t,…,ηdv,t)⊤.逐列内积更新为：
St=St−1(Idv−λtDiag(ηt))+xt(ηt⊙yt)⊤.等价地，第 j 列演化如下：
st,j=(1−ηj,tλt)st−1,j+ηj,tyt,jxt.因此 Falcon-2A 不是标量内积规则；它是 Falcon-2 的逐列内积类似物。
Falcon-1A/Falcon-2A 步长。 与回归不同，内积目标是 λt-光滑的，与写入特征能量无关。因此，目标匹配的分母将仅依赖于 λt；在此处研究的内积实现中，保留能量归一化写入增益以控制加性写入的幅度。设 Et:=∥xt∥22，如果尺度耦合参数化激活，则在应用更新前设置 λt:=λˉtEt。标量 Falcon-1A 步长为：
ηt=Et+λt+εβt,βt∈(0,2),ε≥0.逐列 Falcon-2A 步长为：
ηj,t=Et+λt+εβj,t,βj,t∈(0,2),ε≥0.如式 (3.4) 中，当分母消失时设置 ηt:=0（或对所有 j 设置 ηj,t:=0），并且在边界哨兵 t=1 处施加 x1=0 时同样如此。当 λt>0 时，这些选择满足 ηt<2/λt 和 ηj,t<2/λt，对于任何可接受的 βt,βj,t。由于 ℓtip 是 λt-光滑的（其 Hessian 为 λtI），引理 3.1 对未钳制的标量更新给出每步下降，同一论证逐列适用于式 (4.7)。如果后续正衰减钳制为对数空间展开而激活，则实现的收缩应解释为在标量情况下使用有效岭系数 λt:=αt/ηt，或在逐列情况下使用 λˉj,t:=αj,t/ηj,t，只要对应的步长为正。Et 项不是曲率所要求的，但稳定了写入幅度并产生了合理的 λt→0 极限。
衰减正性。 某些并行/展开形式（第 4.6 节）在对数空间中使用 γt:=1−ηtλt，因此要求 γt>0。在实现中，计算 αt:=ηtλt，如有必要，在计算 logγt=log1p(−αt)（fp32）之前钳制 αt←min(αt,1−εγ)。当 ηtλt<1−εγ 时钳制不激活；在该区间内，动态精确匹配 γt=1−ηtλt。如上所述，下降陈述适用于未钳制的循环。当钳制激活时，实现的循环应视为数值安全的替代，其收缩路径使用有效岭系数：
λt:=αt/ηt只要 ηt>0（当 ηt=0 时 λt:=0），而加性写入增益保持为 ηt。
4.4 回归的小批量更新规则（Falcon-3）
为更好地捕获局部依赖并减少噪声累积，作者引入了滑动状态机制：不是仅从瞬时残差更新状态，而是在名义大小为 B 的有限历史窗口上执行单次小批量梯度步。
Falcon-3 可以视为 ATLAS 所体现的内部目标视角的滑动窗口特化，但此处以线性矩阵内存、平方误差目标和严格的下一潜在变量对齐实例化。跨段边界的精确延续还需要最后 B−1 个因果对的固定宽度尾部；附录 C.7 记录了细节。
序列并行训练。 在将每个活动窗口零填充到宽度 B 后，Falcon-3 变为固定秩 B 的低秩循环。算法 2 给出参考顺序更新，算法 3 给出基于式 (4.16) 中正衰减归约的分块并行 ParallelFlow 实现。附录 H 记录了驱动构造和掩码约定。内积对应版本（Falcon-3A）具有显式的掩码线性注意力形式（第 4.6 节），可在序列维度上实现完全向量化训练。
对于 t≥2，设活动窗口索引为 It={j∣max(2,t−B+1)≤j≤t}，实际窗口大小为 Bt:=∣It∣≤B（因此 Bt≥1）。定义写入特征 xj:=ϕ(kj−1) 对于 j≥2（因此当 ϕ 为恒等映射时 xj=kj−1），并施加边界约定 x1:=0。作者设置 η1:=0，因此 t=1 的写入是无操作；下面的所有窗口化目标/更新均针对 t≥2 定义。为使更新幅度（从而有效衰减）不依赖于名义窗口大小 B，优化窗口平均平方损失：
ℓtreg,(B)(S):=2Bt1j∈It∑∥S⊤xj−vj∥22+2λt∥S∥F2,(t≥2).充分统计量。 作者定义滑动协方差 Ct(B) 和互协方差 Nt(B) 矩阵：
Ct(B)≜j∈It∑xjxj⊤,Nt(B)≜j∈It∑xjvj⊤.定义窗口平均统计量：
Cˉt(B):=Bt1Ct(B),Nˉt(B):=Bt1Nt(B).则在更新前状态处评估的梯度为：
∇Sℓtreg,(B)(St−1)=Cˉt(B)St−1−Nˉt(B)+λtSt−1.更新规则。 应用块归一化梯度步：
St=St−1−ηt∇Sℓtreg,(B)(St−1).代入梯度得到仿射更新：
St=(Idx−ηt(Cˉt(B)+λtIdx))St−1+ηtNˉt(B).等价地，在更新前状态处收集残差得到：
St=(1−ηtλt)St−1+Btηtj∈It∑xj(vj−St−1⊤xj)⊤.这是式 (3.3) 的直接小批量类似物：所有窗口残差在更新前状态 St−1 处评估，更新平均它们的秩一梯度。
对于 t≥2，设 Xt∈Rdx×Bt 堆叠活动窗口写入特征，使得 Cˉt(B)=XtXt⊤/Bt。作者使用窗口化岭目标的精确局部平滑度尺度而非其迹上界进行归一化：
μt(B):=λmax(Cˉt(B))=Bt∥Xt∥22=Btλmax(Xt⊤Xt),ηt=μt(B)+λt+εβt,βt∈(0,2),ε>0.则 Lt(B)=μt(B)+λt，因此只要 Lt(B)>0，该归一化确保对于任何 βt∈(0,2) 有 ηt∈(0,2/Lt(B))，引理 3.1 在任何正衰减钳制之前对式 (4.14) 给出每步下降。如果 Lt(B)=0（等价地，Cˉt(B)=0 且 λt=0），则 Nˉt(B)=0 且更新为无操作。关键在于，由于优化的是窗口平均，Nˉt(B) 是平均值，μt(B) 是平均协方差的谱范数，因此两者都不会随名义窗口大小 B 线性增长。如果写入特征本身经过 RMS 归一化，则：
μt(B)≤Eˉt(B):=tr(Cˉt(B))≈dx,因此分母保持 O(dx) 而非 O(Bdx)；对于通用核映射 ϕ，正确的陈述是 μt(B) 跟踪实际窗口化平滑度尺度。因此，注入项 ηtNˉt(B) 和衰减分数 αt:=ηtλt 都不会因增加 B 而被系统性放大。如果启用第 4.1 节的尺度耦合岭参数化，则将本节中的 λt 替换为 λteff:=λˉtμt(B)。在当前实现中，该平滑度统计量在构造 λteff 时可视为仅统计量乘数（通过乘数分离/停止梯度），而步长分母仍使用实时的 μt(B)。重要的是，无需物化 dx×dx 矩阵 Ct(B) 即可评估梯度或步长：如果窗口写入特征堆叠为 Xt∈Rdx×Bt，则：
Cˉt(B)St−1=Bt1Xt(Xt⊤St−1),μt(B)=Btλmax(Xt⊤Xt).由于 Bt≤B 较小，μt(B) 可以从 Bt×Bt Gram 矩阵精确计算，或通过几次幂迭代近似。对于实现的正常衰减循环，定义：
αtraw:=ηtλt,αt:=min(αtraw,1−εγ),γt:=1−αt, c0:=1,ct:=r=1∏tγr,St:=St/ct.当 αt=αtraw 时，这正是式 (4.14) 中的岭梯度循环。如果钳制激活，则实现的收缩路径应解释为使用有效系数：
λt:={αt/ηt,0,ηt>0,ηt=0,同时保持相同的残差注入增益 ηt。因此上述下降陈述适用于未钳制更新；钳制更新是正衰减替代。在此约定下，实现的循环等价于：
St=St−1+Btηtj∈It∑xj(ct−1vj−St−1⊤xj)⊤,ηt:=ηt/γt.算法 3 通过对数前缀衰减在块局部实现式 (4.16)；附录 C.7 记录了对应的延续和块边界细节。
边界/扫描细节。 离线重叠解释、精确延续要求和显式关联块映射见附录 C.7 和附录 H.1。
4.5 内积损失的小批量更新规则（Falcon-3A）
作者将相同的滑动窗口原则应用于内积目标，同时保持与家族其余部分相同的参数语义：βt 是无量纲增益，λt 是循环使用的实际收缩系数（在任何可选尺度耦合之后），ηt 是由此产生的归一化步长。
对于 t≥2，设 Bt:=∣It∣≤B（并跳过 t=1 处的边界更新）。窗口化损失为：
ℓtip,(B)(S):=−Bt1j∈It∑⟨S⊤xj,vj⟩+2λt∥S∥F2.定义窗口平均互协方差和写入能量：
Nˉt(B):=Bt1j∈It∑xjvj⊤,Eˉt(B):=Bt1j∈It∑∥xj∥22.则在更新前状态处评估的梯度为：
∇Sℓtip,(B)(St−1)=−Nˉt(B)+λtSt−1.与 Falcon-3 使用局部平滑度 μt(B) 作为回归步长不同，内积窗口化规则使用窗口能量统计量作为实际写入增益归一化器。设 Et(B):=Eˉt(B)，如果尺度耦合参数化激活，则在计算步长之前设置 λt:=λˉtEt(B)：
ηt=Et(B)+λt+εβt,βt∈(0,2),ε>0,边界约定为 η1:=0。应用单步梯度给出：
St=(1−ηtλt)St−1+ηtNˉt(B).当 λt>0 时，目标是 λt-光滑的，因此式 (4.18) 暗示对于任何 βt∈(0,2) 有 ηt<2/λt，引理 3.1 对未钳制更新在 ℓtip,(B) 上给出每步下降。如果下面的正衰减钳制激活，则实现的收缩应再次解释为在 ηt>0 时使用有效岭系数 λt:=αt/ηt（当 ηt=0 时为 0），而非原始 λt 的精确梯度步。当 λt=0 时，目标是线性的且无下界，因此相同的归一化应解释为加性写入的幅度稳定器，而非有界目标的保证。
对于对数空间展开，作者仅引入推导量：
αtraw:=ηtλt,αt:=min(αtraw,1−εγ),γt:=1−αt∈[εγ,1],其中 α1:=0 和 γ1:=1。因此，αt 和 γt 是从其他地方使用的相同 (βt,λt,ηt) 参数化推导出的实现变量；它们不是单独学习的控制量。
由于优化的是窗口平均，Nˉt(B) 的典型尺度或衰减分数 αt=ηtλt 都不会随名义窗口大小 B 系统性增长。作者再次在式 (4.18) 中的分母消失时设置 ηt:=0（实践中取 ε>0）。附录 C.7 记录了平稳计算和精确边界状态要求。对于 B=1 和 t≥2，式 (4.19) 退化为标量非滑动内积更新，即 Falcon-1A；在加性消融 λt≡0 中，写入是纯加性的。逐列非滑动类似物是式 (4.7) 中的 Falcon-2A。
4.6 小批量内积更新的并行（注意力）形式
作者证明了第 4.5 节中的循环滑动窗口更新可以写为 (i) 来自入站边界状态的衰减历史项与 (ii) 具有结构化因果掩码的（非归一化）点积注意力矩阵之和。这一视角实现了 GPU 并行训练，并匹配了门控线性循环展开为掩码注意力的通常方式。
对于未钳制的阐述，设 λs 为任何可选尺度耦合后的实际收缩系数，并定义：
ηs:=Eˉs(B)+λs+εβs,γs:=1−ηsλs,δt:=r=1∏tγr.则循环 Ss=γsSs−1+ηsNˉs(B) 展开为：
St=δtS0+j=2∑tMt,jxjvj⊤,其中，在边界约定 x1:=0 和 η1=0 下：
Mt,j:=s=j∑min(t,j+B−1)Bsηsr=s+1∏tγr,2≤j≤t,否则 Mt,j:=0。因此，读写后置输出为：
ot=δtS0⊤ϕ(qt)+j=2∑tMt,j⟨ϕ(qt),xj⟩vj.等价地，堆叠查询特征 Q∈RL×dx、写入特征 X∈RL×dx、值 V∈RL×dv 和掩码 M∈RL×L（条目为 Mt,j=Mt,j），得到：
O=Diag(δ)QS0+(QX⊤⊙M)V,δ:=(δ1,…,δL)⊤.对于新序列默认 S0=0，仅保留掩码注意力项。附录 D.1 给出了完整推导、平稳特例和算法 4 使用的块局部对数空间评估。
反向传播。 数值稳定的反向传播见附录 D.2；它通过结构化掩码、块局部对数衰减重归一化和归一化步长计算进行微分。
与先前内部目标视角的关系。 与测试时训练以及 Titans 和 ATLAS 风格内部内存目标的简要比较移至附录 C.4。
实验
评估在 50B token 预算下训练 124M-130M 参数语言模型，通过困惑度、下游准确率和变长加法诊断比较 Falcon 变体与 Transformer 和循环基线。Falcon-1.3 在困惑度和单样本准确率上领先，而 Falcon-1A.2 在零样本平均上最佳，归一化更新和上下文条件参数产生针对性提升。在加法任务上，Falcon-3A.3 和 Falcon-1A.3 实现了最佳外推，优于基线，支持了偏移、归一化快权重更新改善因果存储和长度外推而不牺牲语言模型质量的论点。
在 124M-130M 参数和 50B token 预算下，所提出的 Falcon-1.3 模型在所有列出的模型中实现了最佳的 FineWeb-Edu 困惑度，优于 Transformer 和循环基线。在循环基线中，Gated DeltaNet 最强，而 Falcon-1A.3 在内积变体中领先。结果表明，所提出的对齐、归一化更新保持了有竞争力的语言建模质量。Falcon-1.3 实现了最低的 FineWeb-Edu 困惑度，超越了包括 Transformer 和 Gated DeltaNet 在内的所有基线。Gated DeltaNet 是 FineWeb-Edu 上最佳的循环基线，但仍落后于 Falcon-1.3。Falcon-1A.3 是最佳内积变体，困惑度接近最佳循环基线。QK-RMSNorm 在小标量消融中相比 QK-l2 归一化改善了 FineWeb-Edu 困惑度。
在 124M-130M 下游评估中，所提出的 Falcon 变体实现了有竞争力的零样本和单样本平均值，其中 Falcon-1A.2 在循环模型中零样本领先，Falcon-1.3 单样本领先。结果显示没有对基线的统一优势，但对齐、归一化更新保持了语言模型质量，同时实现了受控的算术增益。Falcon-1A.2 在列出的模型中实现了最佳零样本平均，而 Falcon-1.3 具有最佳的循环单样本平均。在循环基线中，DeltaNet 和 Mamba-2 在零样本平均上优于 RetNet/LightningAttn。所提出的变体并未统一超越基线，但在各任务上保持有竞争力的下游准确率。
在变长多位数字加法上，所提出的 Falcon 变体在验证准确率上普遍匹配或超过基线模型，同时在更长数字长度上表现出更强的外推能力。在列出的模型中，Falcon-1A.3 实现了最高的平均准确率和最长测试长度上的最佳准确率，超越了 Transformer 和循环基线。Falcon-1A.3 在所有列出的模型中达到最高平均准确率，优于 Transformer 和 RetNet/LightningAttn。所有 Falcon 变体都达到接近完美的验证准确率，Falcon-1A.3 略低为 99.8%。在最长数字长度上，Falcon-1A.3 实现了最佳准确率，而 Transformer 和 Mamba-2 明显落后。
评估涵盖语言建模、下游任务和算术推理。在 124M-130M 参数下，Falcon-1.3 在所有基线中实现了最佳的 FineWeb-Edu 困惑度，Gated DeltaNet 是最强循环竞争者，Falcon-1A.3 在内积变体中领先。在下游零样本和单样本平均值上，Falcon 变体保持竞争力但未统一超越基线，其中 Falcon-1A.2 在循环模型中零样本领先，Falcon-1.3 单样本领先。在变长多位数字加法中，Falcon 变体在验证准确率上匹配或超过基线，并在更长数字长度上表现出更强的外推能力，Falcon-1A.3 实现了最高平均准确率和最长测试长度上的最佳性能。总体而言，对齐、归一化更新保持了语言模型质量，同时实现了受控的算术增益。