
摘要
我们提出了一种新型基于光流的视频补全算法。以往的光流补全方法往往难以保持运动边界的清晰度。我们的方法首先提取并补全运动边缘,随后利用这些边缘指导具有清晰边界的分段平滑光流补全。现有方法通常在相邻帧之间的局部光流连接中传播颜色信息,然而由于运动边界构成不可穿透的屏障,许多缺失区域无法通过这种方式被有效覆盖。为解决这一问题,我们的方法引入了跨时域的非局部光流连接,实现跨越运动边界的视频内容传播。我们在DAVIS数据集上验证了所提方法的有效性。实验结果表明,无论是视觉效果还是定量指标,我们的方法均优于当前最先进的算法。
代码仓库
vt-vl-lab/FGVC
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| video-inpainting-on-davis | FGVC | Ewarp: 0.1586 PSNR: 30.80 SSIM: 0.9497 VFID: 0.165 |
| video-inpainting-on-hqvi-240p | FGVC | LPIPS: 0.0409 PSNR: 28.37 SSIM: 0.9383 VFID: 0.2436 |
| video-inpainting-on-hqvi-480p | FGVC | LPIPS: 0.0388 PSNR: 28.63 SSIM: 0.9433 VFID: 0.0470 |
| video-inpainting-on-youtube-vos | FGVC | Ewarp: 0.1022 PSNR: 29.67 SSIM: 0.9403 VFID: 0.064 |