摘要

近期研究表明，诸如循环神经网络（RNN）和Transformer等深度学习模型在时间序列的长期预测任务中取得了显著的性能提升，这主要得益于其对历史信息的有效利用。然而，我们发现，在神经网络中如何在保留历史信息的同时避免对历史数据中噪声的过拟合，仍存在巨大的优化空间。解决这一问题有助于更充分地发挥深度学习模型的潜力。为此，我们提出了一种频域增强的勒让德记忆模型（Frequency-improved Legendre Memory，简称 FiLM）：该模型采用勒让德多项式投影来近似历史信息，利用傅里叶变换投影实现噪声抑制，并引入低秩近似以加速计算过程。实验结果表明，FiLM在多变量和单变量长期预测任务中，分别将当前最先进模型的预测精度提升了20.3%和22.6%。此外，我们还证明了本文所提出的表示模块具有通用性，可作为即插即用的组件，有效提升其他深度学习模型在长期预测任务中的性能。代码已开源，地址为：https://github.com/tianzhou2011/FiLM/