3 个月前

T-Graphormer:利用Transformer进行时空预测

T-Graphormer:利用Transformer进行时空预测

摘要

时空数据无处不在,其预测在众多领域具有重要应用价值。然而,传统方法在处理时空数据时面临挑战,主要源于其复杂的跨组件依赖关系以及非线性的时序动态特性。现有方法通常将时空两个维度分别建模。本文提出一种基于Transformer的新型方法——时序图变换器(Temporal Graphormer,简称T-Graphormer),能够同时建模时空相关性。通过在图变换器(Graphormer)架构中引入时序编码,每个节点可关注图序列中的所有其他节点,使模型能够在极少预设归纳偏置的前提下,学习到丰富的时空模式。我们在真实世界交通预测基准数据集上验证了T-Graphormer的有效性。与当前最先进的方法相比,T-Graphormer在均方根误差(RMSE)和平均绝对百分比误差(MAPE)上分别最高降低了20%和10%。

代码仓库

rdh1115/T-Graphormer
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
traffic-prediction-on-metr-laT-Graphormer
12 steps MAE: 3.19
12 steps MAPE: 8.62
12 steps RMSE: 6.12
MAE @ 12 step: 3.19
MAE @ 3 step: 2.63
traffic-prediction-on-pems-bayT-Graphormer
MAE @ 12 step: 1.63
RMSE: 3.20
RMSE : 3.20

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
T-Graphormer:利用Transformer进行时空预测 | 论文 | HyperAI超神经