摘要

近年来，基于Transformer的解决方案在长期时间序列预测（LTSF）任务中迅速兴起。尽管过去几年其性能不断提升，但我们在这项工作中对这一研究方向的有效性提出了质疑。具体而言，Transformer无疑是提取长序列中元素之间语义相关性的最成功方法之一。然而，在时间序列建模中，我们需要从有序的连续点集中提取时间关系。虽然在Transformer中使用位置编码和令牌嵌入子序列有助于保留部分顺序信息，但其自注意力机制本质上具有\emph{排列不变性}（permutation-invariant），这不可避免地导致了时间信息的丢失。为了验证我们的观点，我们引入了一组极其简单的单层线性模型——LTSF-Linear进行对比。实验结果表明，在九个实际数据集上，LTSF-Linear意外地在所有情况下都优于现有的复杂Transformer基LTSF模型，并且通常优势显著。此外，我们进行了全面的实证研究，探讨了LTSF模型的各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现能够为LTSF任务开辟新的研究方向。同时，我们也呼吁未来重新评估基于Transformer的解决方案在其他时间序列分析任务（如异常检测）中的有效性。代码可在以下地址获取：\url{https://github.com/cure-lab/LTSF-Linear}。