3 个月前

通过自注意力机制与相对位置信息融合增强多变量时间序列分类器

通过自注意力机制与相对位置信息融合增强多变量时间序列分类器

摘要

时间序列分类(Time Series Classification, TSC)是众多视觉计算应用中一项重要且具有挑战性的任务。尽管针对TSC已开发出大量方法,但其中仅有少数采用了深度神经网络(Deep Neural Networks, DNNs)。本文提出两种新型注意力模块——全局时间注意力(Global Temporal Attention)与时间伪高斯增强自注意力(Temporal Pseudo-Gaussian augmented Self-Attention),能够有效提升基于深度学习的TSC方法的性能,即使这些方法原本是针对特定数据集或任务进行设计与优化的。我们通过在东安格利亚大学(University of East Anglia, UEA)基准数据集上评估多个先进的基于深度学习的TSC模型,验证了该观点。UEA基准是一个标准化的多变量时间序列分类(Multivariate Time Series Classification, MTSC)数据集集合,包含30个数据集。实验结果表明,引入所提出的注意力模块后,基础模型的平均准确率最高可提升3.6%。此外,所提出的TPS(Temporal Pseudo-Gaussian)模块采用一种新颖的注入机制,将相对位置信息引入Transformer架构中。作为计算复杂度较低的独立单元,TPS在性能上优于大多数当前最先进的基于DNN的TSC方法。本文的实验设置及所提出的注意力模块的源代码已公开发布,供学术界和工业界参考与使用。

基准测试

基准方法指标
time-series-classification-on-ueaIT+TPS
ACC: 77.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过自注意力机制与相对位置信息融合增强多变量时间序列分类器 | 论文 | HyperAI超神经