摘要

未来视频预测是一个近年来备受关注的计算机视觉难题。其主要挑战在于视频内容的高度变异性、误差在时间上的传播以及未来帧的非特异性：给定一系列过去的帧，存在一个连续分布的可能未来。本研究引入了双射门控循环单元（bijective Gated Recurrent Units），即在GRU层的输入和输出之间建立双向映射。这使得循环自编码器能够在编码器和解码器之间共享状态，分层表示序列并有助于防止容量问题。我们展示了在这种拓扑结构下，仅需应用编码器进行输入编码，而解码器则用于预测。这不仅降低了计算成本，而且在生成帧序列时避免了重新编码预测结果，从而减轻了误差传播的问题。此外，可以从已经训练好的模型中移除某些层，以揭示每层所执行的功能，并提高模型的可解释性。我们在三个视频数据集上评估了我们的方法，在MMNIST和UCF101数据集上取得了优于现有最佳方法的预测结果，在KTH数据集上则以2倍到3倍更低的内存使用量和计算成本获得了具有竞争力的结果。