HyperAIHyperAI

Command Palette

Search for a command to run...

VideoGigaGAN:迈向细节丰富的视频超分辨率

Yiran Xu Taesung Park Richard Zhang Yang Zhou Eli Shechtman Feng Liu Jia-Bin Huang Difan Liu

摘要

视频超分辨率(Video Super-Resolution, VSR)方法在生成高分辨率视频时已展现出令人印象深刻的时序一致性。然而,由于生成能力受限,这些方法生成的视频往往比其图像超分辨率 counterparts 更加模糊。这一现象引发了一个根本性问题:我们能否在保持时序一致性的前提下,将生成式图像超分辨率方法的成功扩展至视频超分辨率任务?为此,我们提出了 VideoGigaGAN——一种新型生成式视频超分辨率模型,能够生成具备高频细节与良好时序一致性的视频。VideoGigaGAN 基于大规模图像超分辨率模型 GigaGAN 构建。若仅通过引入时序模块简单地将 GigaGAN 扩展为视频模型,将导致严重的时序闪烁问题。我们系统性地识别出多个关键问题,并提出一系列有效技术,显著提升了重建视频的时序一致性。实验结果表明,与以往的 VSR 方法不同,VideoGigaGAN 能够生成在时间上高度一致且包含更精细视觉细节的视频。我们在公开数据集上将 VideoGigaGAN 与当前最先进的 VSR 模型进行对比,并展示了实现 8 倍超分辨率的高质量视频结果,充分验证了该方法的有效性与优越性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
VideoGigaGAN:迈向细节丰富的视频超分辨率 | 论文 | HyperAI超神经