摘要

视频修复（VI）是一项具有挑战性的任务，需要在帧间有效传播可见内容的同时生成原始视频中不存在的新内容。在这项研究中，我们提出了一种稳健且实用的VI框架，该框架结合了大型生成模型用于参考生成以及先进的像素传播算法。借助强大的生成模型，我们的方法不仅显著提升了物体移除的帧级质量，还能根据用户提供的文本提示在缺失区域合成新内容。对于像素传播，我们引入了一种单次像素拉取方法，该方法能有效避免重复采样带来的误差累积，同时保持亚像素精度。为了在现实场景中评估各种VI方法，我们还提出了一个高质量的VI基准测试集HQVI，其中包含使用Alpha遮罩合成技术精心制作的视频。在公共基准测试集和HQVI数据集上，我们的方法展示了显著更高的视觉质量和指标得分，优于现有解决方案。此外，该方法能够轻松处理超过2K分辨率的高分辨率视频，突显了其在实际应用中的优越性。