摘要

视频修复的一个关键挑战是建模由运动控制的视频帧转换动态。在本研究中，我们提出了一种名为TURTLE的方法，用于学习截断因果历史模型，以实现高效且高性能的视频修复。与传统方法并行处理一系列上下文帧不同，TURTLE通过将输入帧的潜在表示的历史部分存储和总结为一个不断演化的历史状态来提高效率。这是通过一种复杂的基于相似性的检索机制实现的，该机制隐式地考虑了帧间运动和对齐。TURTLE中的因果设计使得推理过程中可以通过记忆的历史特征进行递归，同时允许通过采样截断的视频片段来进行并行训练。我们在多种视频修复基准任务上报告了新的最先进结果，包括视频除雪、夜间视频去雨、去除视频中的雨滴和雨痕、视频超分辨率、真实世界和合成视频去模糊以及盲视频降噪，并且在所有这些任务上相比现有的最佳上下文方法降低了计算成本。