摘要
我们提出了一种名为通用时间变换器（General Time Transformer, GTT）的仅编码器架构基础模型，用于零样本多变量时间序列预测。GTT 在包含2亿个高质量时间序列样本的大规模数据集上进行预训练，这些样本覆盖了多个不同领域。在所提出的框架中，多变量时间序列预测任务被建模为通道独立的下一曲线形状预测问题，其中每个时间序列样本被表示为一系列非重叠的曲线形状，并具有统一的数值量级。GTT 以通道独立的方式，基于过去若干曲线形状的窗口，预测下一阶段的曲线形状。实验结果表明，GTT 在未见过的时间序列数据集上展现出卓越的零样本多变量预测能力，甚至超越了当前最先进的监督学习基线模型。此外，我们还研究了GTT模型参数量及训练数据规模变化对性能的影响，发现零样本多变量时间序列预测任务中同样存在显著的缩放规律（scaling law）。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| time-series-forecasting-on-etth1-336-1 | GTT-Large | MAE: 0.419 MSE: 0.424 |
| time-series-forecasting-on-etth1-336-1 | GTT-Smal | MAE: 0.427 MSE: 0.459 |
| time-series-forecasting-on-etth1-336-1 | GTT-Large(50M traing samples) | MAE: 0.444 MSE: 0.475 |
| time-series-forecasting-on-etth1-336-1 | GTT-Large(100M traing samples) | MAE: 0.432 MSE: 0.468 |
| time-series-forecasting-on-etth1-336-1 | GTT-Large(Fine-tune) | MAE: 0.418 MSE: 0.433 |
| time-series-forecasting-on-etth1-336-1 | GTT-Tiny | MAE: 0.436 MSE: 0.466 |