摘要

近期线性预测模型的兴起，引发了人们对基于Transformer的预测模型持续进行架构改进的热情的反思。这类预测模型利用Transformer对时间序列中时间标记（temporal tokens）之间的全局依赖关系进行建模，其中每个时间标记由同一时刻的多个变量（variates）构成。然而，当时间序列的回溯窗口（lookback window）增大时，Transformer面临性能下降和计算开销爆炸的挑战。此外，每个时间标记的嵌入表示融合了多个变量，这些变量可能代表潜在的延迟事件和不同的物理测量值，这种融合方式可能导致模型难以学习到以变量为中心的表征，从而生成语义模糊的注意力图。在本工作中，我们重新审视了Transformer各组件的实质性功能，并在不修改其基础组件的前提下，对Transformer架构进行了重新设计。我们提出了iTransformer模型，该模型仅通过在反转维度上应用注意力机制和前馈网络，即可实现高效建模。具体而言，将单个时间序列的时间点嵌入为变量标记（variate tokens），并通过注意力机制捕捉多变量间的相关性；同时，对每个变量标记独立应用前馈网络，以学习非线性表征。实验结果表明，iTransformer在多个具有挑战性的真实世界时间序列数据集上达到了当前最优性能。该模型显著提升了Transformer家族在时间序列预测任务中的性能表现，增强了跨不同变量的泛化能力，并更有效地利用任意长度的回溯窗口，使其成为时间序列预测任务中一个极具潜力的基础骨干网络。相关代码已开源，地址为：https://github.com/thuml/iTransformer。