HyperAIHyperAI

Command Palette

Search for a command to run...

Transformers在时间序列预测中是否有效?

Ailing Zeng Muxi Chen Lei Zhang Qiang Xu

摘要

近年来,基于Transformer的解决方案在长期时间序列预测(LTSF)任务中迅速兴起。尽管过去几年其性能不断提升,但我们在这项工作中对这一研究方向的有效性提出了质疑。具体而言,Transformer无疑是提取长序列中元素之间语义相关性的最成功方法之一。然而,在时间序列建模中,我们需要从有序的连续点集中提取时间关系。虽然在Transformer中使用位置编码和令牌嵌入子序列有助于保留部分顺序信息,但其自注意力机制本质上具有\emph{排列不变性}(permutation-invariant),这不可避免地导致了时间信息的丢失。为了验证我们的观点,我们引入了一组极其简单的单层线性模型——LTSF-Linear进行对比。实验结果表明,在九个实际数据集上,LTSF-Linear意外地在所有情况下都优于现有的复杂Transformer基LTSF模型,并且通常优势显著。此外,我们进行了全面的实证研究,探讨了LTSF模型的各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现能够为LTSF任务开辟新的研究方向。同时,我们也呼吁未来重新评估基于Transformer的解决方案在其他时间序列分析任务(如异常检测)中的有效性。代码可在以下地址获取:https://github.com/cure-lab/LTSF-Linear


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供