摘要

在本研究中，我们首次提出了一种基于Transformer的框架，用于多变量时间序列的无监督表示学习。预训练模型可潜在应用于下游任务，如回归、分类、预测以及缺失值填补。通过对多个多变量时间序列回归与分类的基准数据集进行评估，我们表明：不仅本研究所提出的建模方法是迄今采用无监督学习进行多变量时间序列建模中最成功的方法，而且其性能甚至超越了当前最先进的有监督方法。这一优势在训练样本数量极为有限的情况下依然成立，同时兼具计算高效性。最后，我们证明，仅通过在相同数据样本上利用无监督目标进行预训练，即便未引入额外的无标签数据，其性能也显著优于完全依赖有监督学习的方法。