摘要

时空序列的预测学习旨在通过学习历史帧来生成未来的图像，其中空间外观（spatial appearances）与时间变化（temporal variations）是两种至关重要的结构。本文提出一种预测性循环神经网络（PredRNN），以建模这两种结构。该架构的设计理念源于一个核心思想：时空预测学习应在一个统一的记忆池中同时记忆空间外观与时间变化。具体而言，记忆状态不再局限于每个LSTM单元内部，而是被允许在两个方向上自由流动：在堆叠的RNN层之间垂直穿行，同时在所有RNN状态之间水平传播。该网络的核心是一个新型的时空LSTM（ST-LSTM）单元，能够同步提取并记忆空间与时间特征表示。实验结果表明，PredRNN在三个视频预测数据集上均达到了当前最优的预测性能，且具有更强的通用性，可通过与其它网络架构相结合，轻松拓展至其他预测学习任务。