摘要

我们提出了一种基于深度学习的新算法，用于视频修复（video inpainting）。视频修复是指完成视频中损坏或缺失区域的过程。与图像修复相比，视频修复面临额外的挑战，因为需要处理额外的时间信息以及保持时间连贯性。为此，我们设计了一种新的基于深度神经网络（DNN）的框架，称为复制粘贴网络（Copy-and-Paste Networks），该框架利用了视频其他帧中的附加信息。该网络经过训练，可以从参考帧中复制相应的内容并将其粘贴到目标帧中以填补空洞。我们的网络还包括一个对齐网络，该网络计算帧之间的仿射矩阵以实现对齐，从而使网络能够从更远的帧中获取信息以提高鲁棒性。我们的方法在生成视觉上令人满意的且时间连贯的结果的同时，运行速度比现有的基于优化的方法更快。此外，我们将该框架扩展应用于增强视频中的过曝或欠曝帧。通过这种增强技术，我们在道路视频中显著提高了车道检测的准确性。