HyperAIHyperAI

Command Palette

Search for a command to run...

时空解耦掩码预训练用于时空预测

Haotian Gao Renhe Jiang Zheng Dong Jinliang Deng Yuxin Ma Xuan Song

摘要

时空预测技术在交通、能源、气象等多个领域具有重要意义。由于时空异质性的复杂性,准确预测时空序列仍面临巨大挑战。尤其值得注意的是,当前的端到端模型受限于输入长度,常常陷入“时空幻觉”现象,即相似的输入时间序列却对应着不相似的未来值,反之亦然。为解决上述问题,本文提出一种新颖的自监督预训练框架——时空解耦掩码预训练(Spatial-Temporal-Decoupled Masked Pre-training, STD-MAE),该框架采用两个解耦的掩码自编码器,分别在空间和时间维度上重建时空序列。通过这种重建过程学习到的丰富上下文表征,可无缝集成至任意架构的下游预测模型中,从而显著提升其性能。我们在六个广泛使用的基准数据集(PEMS03、PEMS04、PEMS07、PEMS08、METR-LA 和 PEMS-BAY)上开展了系统的定量与定性评估,结果表明 STD-MAE 在多项指标上均达到当前最优水平。相关代码已开源,地址为:https://github.com/Jimmy-7664/STD-MAE


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
时空解耦掩码预训练用于时空预测 | 论文 | HyperAI超神经