摘要

在Transformer架构中，自注意力机制对序列顺序不变，因此需要位置嵌入来编码时间序列预测中的时间顺序。我们认为，这种依赖于位置嵌入的方法限制了Transformer有效表示时间序列的能力，尤其是在使用较长的历史窗口时。为了解决这一问题，我们提出了一种创新方法，将金字塔RNN嵌入（Pyramid RNN Embeddings, PRE）与Transformer建模多变量依赖关系的能力相结合。PRE通过使用金字塔一维卷积层构建多尺度卷积特征，从而保留时间顺序。此外，堆叠在这些特征之上的RNN学习到对序列顺序敏感的多尺度时间序列表示。将这种方法与具有注意力机制的Transformer模型结合，可以显著提升性能。我们介绍了PRformer模型，该模型将PRE与标准的Transformer编码器集成在一起，在多个实际数据集上展示了最先进的性能。这一性能表现突显了我们的方法在利用较长历史窗口方面的有效性，并强调了稳健的时间表示在最大化Transformer预测任务潜力中的关键作用。代码可在以下仓库获取：https://github.com/usualheart/PRformer。