3 个月前

VCformer:具有固有滞后相关性的变量化相关Transformer用于多变量时间序列预测

VCformer:具有固有滞后相关性的变量化相关Transformer用于多变量时间序列预测

摘要

多变量时间序列(Multivariate Time Series, MTS)预测已在气象预报、能源消耗等多个领域得到广泛应用。然而,现有研究仍主要依赖于原始的逐点自注意力机制来捕捉变量间的依赖关系,该机制在提取变量之间复杂的交叉相关性方面存在不足。为弥补这一缺陷,本文提出一种名为变量相关性Transformer(Variable Correlation Transformer, VCformer)的新模型,其核心在于引入变量相关性注意力(Variable Correlation Attention, VCA)模块,以深入挖掘变量之间的相关性。具体而言,基于随机过程理论,VCA能够计算并融合查询(query)与键(key)在不同滞后阶数下的交叉相关性得分,从而显著增强模型识别多变量复杂关系的能力。此外,受Koopman动力学理论的启发,我们进一步设计了Koopman时间检测器(Koopman Temporal Detector, KTD),以更有效地应对时间序列中的非平稳性问题。上述两个核心组件共同使VCformer能够同时捕捉多变量间的相关性与时间依赖性。在八个真实世界数据集上的大量实验表明,VCformer在性能上显著优于现有主流基线模型,达到领先水平。代码已开源,详见:https://github.com/CSyyn/VCformer。

代码仓库

csyyn/vcformer
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
time-series-forecasting-on-etth1-336-1VCformer
MAE: 0.449
MSE: 0.473

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
VCformer:具有固有滞后相关性的变量化相关Transformer用于多变量时间序列预测 | 论文 | HyperAI超神经