HyperAIHyperAI

Command Palette

Search for a command to run...

SwinLSTM:利用Swin Transformer与LSTM提升时空预测精度

RongNian Tang Pu Zhang Chuang Li Song Tang

摘要

将卷积神经网络(CNN)与循环神经网络(RNN)相结合以捕捉时空依赖关系,是当前时空预测任务中的主流策略。然而,CNN擅长学习局部空间特征的特性,限制了其在捕捉复杂时空依赖关系方面的效率,从而制约了预测精度的提升。本文提出一种新型循环单元——SwinLSTM,该单元融合了Swin Transformer模块与简化的LSTM结构,其核心创新在于用自注意力机制替代ConvLSTM中的卷积结构。此外,我们构建了一个以SwinLSTM单元为核心组件的网络架构,用于时空预测任务。在不依赖特殊技巧的前提下,SwinLSTM在Moving MNIST、Human3.6M、TaxiBJ和KTH等多个基准数据集上均超越了当前最优方法。尤其值得注意的是,相较于ConvLSTM,SwinLSTM在预测精度上展现出显著提升。实验结果表明,学习全局空间依赖关系对模型捕捉时空动态具有更显著的优势。我们期望SwinLSTM能够成为推动时空预测性能提升的坚实基线方法。相关代码已公开发布于:https://github.com/SongTang-x/SwinLSTM


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SwinLSTM:利用Swin Transformer与LSTM提升时空预测精度 | 论文 | HyperAI超神经