摘要

在从序列数据中学习时，一个核心问题是随着更多数据的处理，如何以增量方式表示累积历史。我们提出了一种通用框架（HiPPO），用于通过投影到多项式基上实现连续信号和离散时间序列的在线压缩。给定一个指定过去每个时间步重要性的度量，HiPPO 可以生成一个自然在线函数逼近问题的最优解。作为特例，我们的框架可以从基本原理出发简明推导出最近的勒让德记忆单元（Legendre Memory Unit, LMU），并推广了循环神经网络（如 GRU）中普遍使用的门控机制。这一形式化框架产生了一种新的记忆更新机制（HiPPO-LegS），该机制随着时间扩展以记住所有历史，避免了对时间尺度的先验假设。HiPPO-LegS 具有时间尺度鲁棒性、快速更新和有界梯度等理论优势。通过将记忆动态整合到循环神经网络中，HiPPO RNNs 在实际应用中能够捕捉复杂的时序依赖关系。在基准排列 MNIST 数据集上，HiPPO-LegS 达到了 98.3% 的新最高准确率。最后，在一项测试对分布外时间尺度和缺失数据鲁棒性的新型轨迹分类任务中，HiPPO-LegS 的准确率比 RNN 和神经常微分方程（Neural ODE）基线高出 25-40%。