自回归Transformer在视频生成任务中取得了显著成功。然而，由于自注意力机制具有二次时间复杂度，Transformer难以直接建模视频中的长期依赖关系，且其自回归生成过程固有地导致推理速度缓慢以及误差传播问题。本文提出了一种高效记忆的双向Transformer（Memory-efficient Bidirectional Transformer, MeBT），用于端到端地学习视频中的长期依赖关系，并实现快速推理。基于近期双向Transformer的进展，我们的方法能够并行地从部分观测到的视频片段中解码整个时空体。通过将可观测上下文的token投影到固定数量的隐状态token，并利用交叉注意力机制引导其恢复被遮蔽的token，所提出的Transformer在编码与解码阶段均实现了线性时间复杂度。得益于线性复杂度与双向建模的优势，我们的方法在生成中等长度视频时，在生成质量与速度方面均显著优于传统的自回归Transformer。相关视频与代码已公开，详见：https://sites.google.com/view/mebt-cvpr2023。