3 个月前

隐式堆叠自回归模型用于视频预测

隐式堆叠自回归模型用于视频预测

摘要

未来帧预测主要通过两种方法实现:自回归(autoregressive)与非自回归(non-autoregressive)方法。自回归方法基于马尔可夫假设,在预测初期误差尚未累积时能够实现较高的准确性,但随着预测时间步数的增加,性能通常会逐渐下降。相比之下,非自回归方法虽可达到相对较高的预测性能,但各时间步之间的预测结果缺乏关联性。本文提出一种用于视频预测的隐式堆叠自回归模型(Implicit Stacked Autoregressive Model for Video Prediction, IAM4VP),该模型是一种隐式视频预测方法,采用堆叠式自回归机制。与非自回归方法类似,堆叠式自回归方法利用同一观测帧来估计所有未来帧;然而,它又借鉴了自回归方法的思想,将自身预测结果作为后续步骤的输入。随着预测时间步的增加,预测结果被依次堆叠并存入队列中。为验证IAM4VP的有效性,我们在三个常用的未来帧预测基准数据集以及气象与气候预测基准数据集上进行了实验。实验结果表明,所提出的模型在各项任务中均达到了当前最先进的性能水平。

基准测试

基准方法指标
video-prediction-on-human36mIAM4VP
MAE: 1120
MSE: 126
SSIM: 0.942
video-prediction-on-moving-mnistIAM4VPx5
MAE: 49.2
MSE: 15.3
SSIM: 0.966
weather-forecasting-on-sevirIAM4VP
MSE: 2.9371
mCSI: 0.4607

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
隐式堆叠自回归模型用于视频预测 | 论文 | HyperAI超神经