
摘要
在时间序列预测(Time Series Forecasting, TSF)领域,模型必须能够有效识别并提取历史时间序列数据中的隐藏模式,以准确预测未来状态。基于Transformer的模型在TSF任务中表现出色,主要得益于其在捕捉复杂模式方面的显著优势。然而,Transformer模型固有的二次时间复杂度导致其计算效率较低、资源开销较大,这在一定程度上限制了其在实际应用场景中的部署。近年来,Mamba作为一种选择性状态空间模型(selective state space model),因其能够在保持近线性时间复杂度的同时处理序列中的长程依赖关系,受到广泛关注。对于TSF任务而言,Mamba不仅具备与Transformer相当的建模能力,还能显著降低计算负担。因此,本文提出一种基于Mamba的新型时间序列预测模型——Simple-Mamba(S-Mamba)。具体而言,我们通过一个线性层对每个变量的时间点进行独立的分词处理;采用双向Mamba层以捕捉变量间的跨维度相关性,同时引入前馈网络(Feed-Forward Network)建模时间维度上的动态依赖关系;最终通过线性映射层生成预测结果。在十三个公开数据集上的实验结果表明,S-Mamba在保持极低计算开销的同时,取得了领先的预测性能。此外,我们还开展了大量实验,深入探索Mamba在时间序列预测任务中的潜力与适用性。相关代码已开源,地址为:https://github.com/wzhwzhwzh0921/S-D-Mamba。
代码仓库
wzhwzhwzh0921/s-d-mamba
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| time-series-forecasting-on-etth1-336-1 | S-Mamba | MAE: 0.468 MSE: 0.489 |