3 个月前

LTBoost:用于长期时间序列预测的集成线性与梯度算法的增强型混合模型

LTBoost:用于长期时间序列预测的集成线性与梯度算法的增强型混合模型

摘要

基于深度学习的预测架构在参数配置不断扩展方面取得了显著进展。然而,在实际应用场景中对快速在线决策的需求,亟需一种替代性策略,凸显出对兼具自适应能力与实时运行高效性的网络结构的迫切需求。这一转变至关重要,因为我们正面临深度学习预测框架中的三大核心挑战:(i)Transformer架构固有的局限性——尽管其尝试保留序列顺序信息,但自注意力机制固有的置换不变性仍不可避免地导致时间信息的丢失;(ii)线性模型在捕捉快速演变信号中动态交互关系方面的失效;(iii)树基方法在训练数据范围之外进行外推的能力不足。针对上述挑战,本文提出LTBoost,一种专为长期时间序列预测(Long-Term Time Series Forecasting, LTSF)任务设计的创新性混合增强模型,融合线性与树基集成梯度算法,具备高维数据可扩展性。LTBoost采用双阶段策略:首先利用线性回归模型捕捉趋势并实现对已知数据范围之外的外推;随后,通过一个强大的非线性树基模型对残差进行建模,以精细化捕捉复杂模式。该混合增强架构不仅有效应对了现有模型的局限性,更显著提升了预测精度。通过在九个广受认可的基准数据集上开展的实证实验,LTBoost的有效性得到充分验证:在36项评估任务中,有32项在平均绝对误差(MAE)指标上达到或超越当前最先进水平,展现出卓越的性能。此外,研究还系统探讨了滞后特征(lag features)与信号归一化技术对预测精度的影响,进一步证实了其在提升模型表现方面的积极作用。该混合式、高效率的方法充分体现了LTBoost的创新性,有效解决了长期时间序列预测中的关键难题,为时间序列预测领域的发展奠定了坚实基础,并为其在多样化真实场景中的广泛应用开辟了广阔前景。

基准测试

基准方法指标
time-series-forecasting-on-etth1-192-1LTBoost (drop_last=false)
MAE: 0.406
MSE: 0.396
time-series-forecasting-on-etth1-336-1LTBoost (drop_last=false)
MAE: 0.423
MSE: 0.424
time-series-forecasting-on-etth1-720-1LTBoost (drop_last=false)
MAE: 0.449
MSE: 0.435
time-series-forecasting-on-etth1-96-1LTBoost (drop_last=false)
MAE: 0.382
MSE: 0.357
time-series-forecasting-on-etth2-192-1LTBoost (drop_last=false)
MAE: 0.377
MSE: 0.332
time-series-forecasting-on-etth2-336-1LTBoost (drop_last=false)
MAE: 0.401
MSE: 0.355
time-series-forecasting-on-etth2-720-1LTBoost (drop_last=false)
MAE: 0.439
MSE: 0.407
time-series-forecasting-on-etth2-96-1LTBoost (drop_last=false)
MAE: 0.329
MSE: 0.263
time-series-forecasting-on-ettm1-192-1LTBoost (drop_last=false)
MAE: 0.354
MSE: 0.316
time-series-forecasting-on-ettm1-336-1LTBoost (drop_last=false)
MAE: 0.375
MSE: 0.349
time-series-forecasting-on-ettm1-720-1LTBoost (drop_last=false)
MAE: 0.405
MSE: 0.403
time-series-forecasting-on-ettm1-96-1LTBoost (drop_last=false)
MAE: 0.330
MSE: 0.277
time-series-forecasting-on-ettm2-192-1LTBoost (drop_last=false)
MAE: 0.282
MSE : 0.210
time-series-forecasting-on-ettm2-336-1LTBoost (drop_last=false)
MAE: 0.317
MSE: 0.262
time-series-forecasting-on-ettm2-720-1LTBoost (drop_last=false)
MAE: 0.375
MSE: 0.349
time-series-forecasting-on-ettm2-96-1LTBoost (drop_last=false)
MAE: 0.243
MSE: 0.156

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LTBoost:用于长期时间序列预测的集成线性与梯度算法的增强型混合模型 | 论文 | HyperAI超神经