4 个月前

SAITS:基于自注意力机制的时间序列插补方法

SAITS:基于自注意力机制的时间序列插补方法

摘要

时间序列中的缺失数据是一个普遍存在的问题,给高级分析带来了障碍。一种流行的解决方案是插补,其核心挑战在于确定应填充哪些值。本文提出了一种基于自注意力机制的新方法——SAITS(Self-Attention-based Imputation for Time Series),用于多变量时间序列的缺失值插补。通过联合优化方法训练,SAITS从两个对角线掩码自注意力(Diagonally-Masked Self-Attention, DMSA)块的加权组合中学习缺失值。DMSA 明确捕捉了时间步之间的时序依赖性和特征相关性,从而提高了插补精度和训练速度。同时,加权组合设计使 SAITS 能够根据注意力图和缺失信息动态分配两个 DMSA 块所学表示的权重。广泛的实验从定量和定性两方面证明了 SAITS 在时间序列插补任务上优于现有最先进方法,并展示了 SAITS 在提高现实世界不完整时间序列数据模式识别模型学习性能方面的潜力。该代码已在 GitHub 上开源,地址为 https://github.com/WenjieDu/SAITS。

代码仓库

gorgen2020/LSSDM_imputation
pytorch
GitHub 中提及
WenjieDu/SAITS
官方
pytorch
GitHub 中提及
WenjieDu/PyPOTS
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
multivariate-time-series-imputation-on-1SAITS
MAE (10% of data as GT): 0.186
multivariate-time-series-imputation-on-3SAITS
MAE (100 steps, 10% data missing): 0.735

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SAITS:基于自注意力机制的时间序列插补方法 | 论文 | HyperAI超神经