摘要

我们提出了一种面向多变量时间序列预测与自监督表征学习的高效Transformer模型设计。该方法基于两个核心组件：（i）将时间序列分割为子序列级别的“补丁”（patches），作为Transformer的输入token；（ii）通道独立性机制，即每个通道仅包含一个单变量时间序列，且所有序列共享相同的嵌入层与Transformer参数。补丁化设计具有三重优势：首先，嵌入过程能够保留局部语义信息；其次，在相同回溯窗口下，注意力机制的计算量与内存占用呈二次降低；第三，模型能够有效关注更长的历史序列。所提出的通道独立补丁时间序列Transformer（PatchTST）在长期预测任务中显著优于当前最优的基于Transformer的模型。此外，我们将该模型应用于自监督预训练任务，取得了优异的微调性能，其表现甚至超越了在大规模数据集上的监督训练。将某一数据集上掩码预训练得到的表征迁移到其他数据集，亦能实现当前最优的预测精度。代码已开源，地址为：https://github.com/yuqinie98/PatchTST。