摘要

延长预测时长是实际应用中的关键需求，例如极端天气预警和长期能源消耗规划。本文研究时间序列的长期预测问题。先前基于Transformer的模型采用多种自注意力机制以捕捉长程依赖关系，然而，未来长期序列中复杂的时序模式使得模型难以发现可靠的依赖关系。此外，为提升长序列处理效率，Transformer必须采用点对点自注意力的稀疏化版本，从而导致信息利用效率受限，形成瓶颈。超越传统Transformer架构，本文提出Autoformer——一种基于自相关机制的新型分解型架构。我们打破了时间序列分解的预处理惯例，将其重构为深度模型中的基本内部模块。这一设计赋予Autoformer对复杂时间序列进行渐进式分解的能力。进一步地，受随机过程理论的启发，我们设计了基于序列周期性的自相关机制，能够在子序列层面实现依赖关系的发现与表征聚合。实验表明，自相关机制在效率与准确率方面均优于传统自注意力机制。在长期预测任务中，Autoformer在六项基准测试上取得了当前最优的性能，相对提升达38%，覆盖能源、交通、经济、气象和疾病等五个实际应用场景。相关代码已开源，详见：\url{https://github.com/thuml/Autoformer}。