3 个月前

Mamba 在时间序列预测中有效吗?

Mamba 在时间序列预测中有效吗?

摘要

在时间序列预测(Time Series Forecasting, TSF)领域,模型必须能够有效识别并提取历史时间序列数据中的隐藏模式,以准确预测未来状态。基于Transformer的模型在TSF任务中表现出色,主要得益于其在捕捉复杂模式方面的显著优势。然而,Transformer模型固有的二次时间复杂度导致其计算效率较低、资源开销较大,这在一定程度上限制了其在实际应用场景中的部署。近年来,Mamba作为一种选择性状态空间模型(selective state space model),因其能够在保持近线性时间复杂度的同时处理序列中的长程依赖关系,受到广泛关注。对于TSF任务而言,Mamba不仅具备与Transformer相当的建模能力,还能显著降低计算负担。因此,本文提出一种基于Mamba的新型时间序列预测模型——Simple-Mamba(S-Mamba)。具体而言,我们通过一个线性层对每个变量的时间点进行独立的分词处理;采用双向Mamba层以捕捉变量间的跨维度相关性,同时引入前馈网络(Feed-Forward Network)建模时间维度上的动态依赖关系;最终通过线性映射层生成预测结果。在十三个公开数据集上的实验结果表明,S-Mamba在保持极低计算开销的同时,取得了领先的预测性能。此外,我们还开展了大量实验,深入探索Mamba在时间序列预测任务中的潜力与适用性。相关代码已开源,地址为:https://github.com/wzhwzhwzh0921/S-D-Mamba。

代码仓库

wzhwzhwzh0921/s-d-mamba
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
time-series-forecasting-on-etth1-336-1S-Mamba
MAE: 0.468
MSE: 0.489

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Mamba 在时间序列预测中有效吗? | 论文 | HyperAI超神经