3 个月前

特征如何带来收益:基于Transformer的多变量时间序列预测中的并行序列嵌入

特征如何带来收益:基于Transformer的多变量时间序列预测中的并行序列嵌入

摘要

时间序列预测是一个引人关注且至关重要的数学课题。相关领域的理论与应用研究已持续数十年,近年来深度学习为该领域提供了可靠的工具。Transformer架构因其能够捕捉更长的序列依赖关系,被广泛应用于时间序列预测中。尽管现有研究主要致力于突破Transformer的内存瓶颈,但如何有效利用多变量时间序列仍鲜有关注。本文提出一种新型架构,采用主Transformer结构实现多变量时间序列预测。所提出的架构具有两大优势:首先,该模型能够准确预测具有短序列或长序列长度及步长的多变量时间序列。我们在多个真实世界数据集上将所提模型与多种基准架构进行对比,结果表明,该模型显著提升了现有方法的性能。其次,该架构可轻松集成至基于Transformer的各类变体中,具有良好的可扩展性与通用性。

基准测试

基准方法指标
time-series-forecasting-on-etth1-720-2Parallel Series Transformer
MAE: 0.286
MSE: 0.129

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
特征如何带来收益:基于Transformer的多变量时间序列预测中的并行序列嵌入 | 论文 | HyperAI超神经