3 个月前

BasisFormer:基于注意力机制的可学习且可解释的基函数时间序列预测

BasisFormer:基于注意力机制的可学习且可解释的基函数时间序列预测

摘要

基函数已成为现代基于深度学习的时间序列预测模型中不可或缺的组成部分,因其能够作为特征提取器或未来参考依据。要实现有效预测,基函数必须针对特定的时间序列数据集进行定制,并与该数据集中每一时间序列表现出显著的相关性。然而,现有最先进方法在同时满足上述两个要求方面存在局限。为应对这一挑战,我们提出了一种端到端的时间序列预测架构——BasisFormer,该架构利用可学习且可解释的基函数。该架构包含三个核心组件:首先,通过自适应的自监督学习获取基函数,将时间序列的历史部分与未来部分视为两个不同的视图,并采用对比学习策略进行优化;其次,设计了Coef模块,通过双向交叉注意力机制计算历史视图中时间序列与基函数之间的相似性系数;最后,提出Forecast模块,根据相似性系数在未来的视图中选择并融合相应的基函数,从而实现高精度的未来预测。在六个公开数据集上的大量实验表明,BasisFormer在单变量和多变量预测任务中分别相较于以往最先进方法提升了11.04%和15.78%的性能。代码已开源,地址为:\url{https://github.com/nzl5116190/Basisformer}。

代码仓库

基准测试

基准方法指标
time-series-forecasting-on-etth1-336-1Basisformer
MAE: 0.451
MSE: 0.473

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
BasisFormer:基于注意力机制的可学习且可解释的基函数时间序列预测 | 论文 | HyperAI超神经