3 个月前

PDFormer:面向传播延迟的动态长程Transformer用于交通流预测

PDFormer:面向传播延迟的动态长程Transformer用于交通流预测

摘要

作为智能交通系统(Intelligent Transportation System)的核心技术之一,交通流预测具有广泛的应用前景。其核心挑战在于如何有效建模交通数据中复杂的时空依赖关系。近年来,时空图神经网络(Spatial-Temporal Graph Neural Network, GNN)模型已成为解决该问题最具前景的方法之一。然而,基于GNN的交通预测方法仍存在三大局限性:其一,大多数方法以静态方式建模空间依赖关系,难以捕捉动态的城市交通模式;其二,多数方法仅关注短距离空间信息,难以建模长距离空间依赖;其三,这些方法忽略了交通系统中不同地理位置之间交通状态传播存在时间延迟这一关键事实。针对上述问题,本文提出一种新型的、具备传播延迟感知能力的动态长距离Transformer模型——PDFormer(Propagation Delay-aware dynamic long-range Transformer),以实现高精度的交通流预测。具体而言,我们设计了一种空间自注意力模块,用于捕捉动态的空间依赖关系;进一步引入两个图掩码矩阵,分别从短距离和长距离视角突出关键的空间依赖结构;此外,提出一种交通延迟感知的特征变换模块,使PDFormer具备显式建模空间信息传播时间延迟的能力。在六个公开的真实世界交通数据集上的大量实验结果表明,所提方法不仅在预测性能上达到当前最优水平,同时展现出良好的计算效率。此外,我们通过可视化学习到的时空注意力图,显著提升了模型的可解释性,有助于深入理解交通流的动态演化机制。

代码仓库

BUAABIGSCity/PDFormer
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
traffic-prediction-on-pems04PDFormer
12 Steps MAE: 18.32
traffic-prediction-on-pems07PDFormer
MAE@1h: 19.83
traffic-prediction-on-pems08PDFormer
MAE@1h: 13.58
traffic-prediction-on-pemsd4PDFormer
12 steps MAE: 18.32
traffic-prediction-on-pemsd7PDFormer
12 steps MAE: 19.832
traffic-prediction-on-pemsd8PDFormer
12 steps MAE: 13.58

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PDFormer:面向传播延迟的动态长程Transformer用于交通流预测 | 论文 | HyperAI超神经