摘要
时空预测技术在交通、能源、气象等多个领域具有重要意义。由于时空异质性的复杂性，准确预测时空序列仍面临巨大挑战。尤其值得注意的是，当前的端到端模型受限于输入长度，常常陷入“时空幻觉”现象，即相似的输入时间序列却对应着不相似的未来值，反之亦然。为解决上述问题，本文提出一种新颖的自监督预训练框架——时空解耦掩码预训练（Spatial-Temporal-Decoupled Masked Pre-training, STD-MAE），该框架采用两个解耦的掩码自编码器，分别在空间和时间维度上重建时空序列。通过这种重建过程学习到的丰富上下文表征，可无缝集成至任意架构的下游预测模型中，从而显著提升其性能。我们在六个广泛使用的基准数据集（PEMS03、PEMS04、PEMS07、PEMS08、METR-LA 和 PEMS-BAY）上开展了系统的定量与定性评估，结果表明 STD-MAE 在多项指标上均达到当前最优水平。相关代码已开源，地址为：https://github.com/Jimmy-7664/STD-MAE。
代码仓库
jimmy-7664/std-mae
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| traffic-prediction-on-expy-tky-1 | STD-MAE | 1 step MAE: 5.73 3 step MAE: 6.41 6 step MAE: 6.75 |
| traffic-prediction-on-metr-la | STD-MAE | 12 steps MAE: 3.40 12 steps MAPE: 9.59 12 steps RMSE: 7.07 MAE @ 12 step: 3.40 MAE @ 3 step: 2.62 |
| traffic-prediction-on-pems-bay | STD-MAE | MAE @ 12 step: 1.77 RMSE: 4.20 |
| traffic-prediction-on-pems04 | STD-MAE | 12 Steps MAE: 17.80 |
| traffic-prediction-on-pems07 | STD-MAE | MAE@1h: 18.31 |
| traffic-prediction-on-pemsd3 | STD-MAE | 12 steps MAE: 13.80 12 steps MAPE: 13.96 12 steps RMSE: 24.43 |
| traffic-prediction-on-pemsd4 | STD-MAE | 12 steps MAE: 17.80 |
| traffic-prediction-on-pemsd7 | STD-MAE | 12 steps MAE: 18.31 12 steps MAPE: 7.72 12 steps RMSE: 31.07 |
| traffic-prediction-on-pemsd7-l | STD-MAE | 12 steps MAE: 2.64 12 steps MAPE: 6.65 12 steps RMSE: 5.50 |
| traffic-prediction-on-pemsd7-m | STD-MAE | 12 steps MAE: 2.52 12 steps MAPE: 6.35 12 steps RMSE: 5.20 |
| traffic-prediction-on-pemsd8 | STD-MAE | 12 steps MAE: 13.44 12 steps MAPE: 8.76 12 steps RMSE: 22.47 |