4 个月前

深度视频修复

深度视频修复

摘要

视频修复旨在用合理的内容填充视频中的时空空洞。尽管深度神经网络在图像修复方面取得了巨大进展,但由于时间维度的增加,将这些方法扩展到视频领域仍然具有挑战性。在这项工作中,我们提出了一种用于快速视频修复的新型深度网络架构。该框架基于图像编码器-解码器模型构建,设计用于从邻近帧中收集和精炼信息,并合成未知区域。同时,通过递归反馈机制和时间记忆模块来确保输出的时间一致性。与最先进的图像修复算法相比,我们的方法生成的视频在语义上更加准确且时间上更加平滑。与依赖耗时优化的传统视频补全方法不同,我们的方法能够在接近实时的情况下生成具有竞争力的视频结果。最后,我们将该框架应用于视频重定向任务,并获得了视觉效果令人满意的成果。

代码仓库

mcahny/Deep-Video-Inpainting
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
video-inpainting-on-davisVINet
Ewarp: 0.1785
PSNR: 28.96
SSIM: 0.9411
VFID: 0.199
video-inpainting-on-youtube-vosVINet
Ewarp: 0.1490
PSNR: 29.20
SSIM: 0.9434
VFID: 0.072

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
深度视频修复 | 论文 | HyperAI超神经