摘要

高质量视频修复（inpainting）是指完成视频帧中缺失区域的任务，这是一项充满前景但极具挑战性的研究方向。现有的最先进方法通常采用注意力模型，通过从参考帧中搜索缺失内容来完成单个帧的修复，并进一步逐帧完成整个视频的修复。然而，这些方法在空间和时间维度上可能会出现注意力结果不一致的问题，从而导致视频中的模糊现象和时间伪影。本文提出了一种联合空间-时间变换器网络（Spatial-Temporal Transformer Network, STTN）用于视频修复。具体而言，我们通过自注意力机制同时填充所有输入帧中的缺失区域，并提出使用空间-时间对抗损失来优化STTN。为了展示所提模型的优势，我们使用标准静态掩模和更真实的移动物体掩模进行了定量和定性评估。演示视频可在以下链接获取：https://github.com/researchmm/STTN。