摘要

我们介绍了PredRNN++，这是一种改进的递归网络，用于视频预测学习。为了提高时空建模能力，我们的方法通过利用一种名为因果LSTM（Causal LSTM）的新递归单元，增加了相邻状态之间的转换深度，该单元以级联机制重新组织空间和时间记忆。然而，在视频预测学习中仍存在一个困境：虽然设计了越来越多的时间深度模型来捕捉复杂的动态变化，但这些模型也引入了梯度反向传播的更多困难。为了解决这一不利影响，我们提出了一种梯度高速公路（Gradient Highway）架构，该架构为从输出到远距离输入的梯度流提供了替代的较短路径。这种架构与因果LSTM无缝结合，使PredRNN++能够自适应地捕获短期和长期依赖关系。我们在合成和真实视频数据集上评估了我们的模型，展示了其缓解梯度消失问题的能力，并在物体遮挡等复杂场景下取得了最先进的预测结果。