摘要

时空序列的预测学习旨在通过学习历史帧来生成未来的图像，其中空间外观特征与时间变化模式是两个关键结构。本文提出一种预测性循环神经网络（PredRNN），用以建模上述两种结构。该架构的设计灵感源于一个核心思想：时空预测学习应在一个统一的记忆池中同时记忆空间外观与时间变化。具体而言，记忆状态不再局限于单个LSTM单元内部，而是被允许在两个方向上进行动态传播：垂直方向上跨越堆叠的RNN层，水平方向上贯穿所有RNN状态。该网络的核心是一个新型的时空LSTM（ST-LSTM）单元，能够同步提取并记忆空间与时间特征表示。实验结果表明，PredRNN在三个视频预测数据集上均达到了当前最优的预测性能，且具有更强的通用性，可通过与其它网络架构相结合，轻松拓展至其他预测学习任务中。