摘要

我们提出了一种新型的循环神经网络（RNN）记忆单元，该单元通过相对较少的资源，动态地在长时间窗口内维持信息。该记忆单元称为勒让德记忆单元（Legendre Memory Unit, LMU），其数学构造基于对连续时间历史的正交化处理——具体而言，通过求解 $d$ 个耦合的常微分方程（ODE），并利用最高次数为 $d-1$ 的勒让德多项式，将这些方程的相空间线性映射到滑动时间窗口上。在混沌时间序列预测任务中，基于LMU的反向传播（backpropagation）性能优于同等规模的长短期记忆网络（LSTM），记忆容量提升了两个数量级，并显著缩短了训练与推理时间。LMU能够高效处理跨度达100,000个时间步的时序依赖关系，收敛迅速，且仅需少量内部状态变量即可学习跨越长时间窗口的复杂函数，在打乱顺序的MNIST序列任务中，其表现超越了当前最先进的RNN模型。这一优异性能源于网络对尺度不变特征的学习能力，且该能力与时间步长无关。通过在ODE求解器上进行反向传播，网络的每一层可自适应调整其内部时间步长，从而学习到与任务相关的时序尺度。我们进一步证明，LMU记忆单元可通过 $m$ 个递归连接的泊松脉冲神经元实现，其时间和内存复杂度均为 $\mathcal{O}(m)$，误差随 $d / \sqrt{m}$ 的量级变化。最后，我们讨论了LMU在模拟与数字类脑硬件上的实现方案。