HyperAIHyperAI

Command Palette

Search for a command to run...

FeatureFlow:通过结构到纹理生成实现鲁棒的视频插值

Dacheng Tao Qihua Chen Chaoyue Wang Shurui Gui

摘要

视频插值旨在合成两帧连续图像之间的缺失帧。尽管现有的基于光流的方法已取得令人瞩目的成果,但在处理复杂动态场景的插值任务时仍面临巨大挑战,这些场景通常包含遮挡、模糊或亮度突变等问题。其主要原因在于,上述情况往往违背了光流估计的基本假设(如平滑性与一致性)。为此,本文提出了一种新颖的“结构到纹理”生成框架,将视频插值任务分解为两个阶段:结构引导插值与纹理精细化。在第一阶段,利用深度结构感知特征,从两帧连续图像预测特征光流,并生成中间帧的结构图像;在第二阶段,基于生成的粗略结果,训练一个帧纹理补偿模块(Frame Texture Compensator),以填补细节纹理信息。据我们所知,这是首个尝试通过融合深层特征直接生成中间帧的工作。在基准数据集及具有挑战性的遮挡场景下的实验结果表明,所提出的框架在性能上显著优于现有最先进方法。代码已开源,地址为:https://github.com/CM-BF/FeatureFlow


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FeatureFlow:通过结构到纹理生成实现鲁棒的视频插值 | 论文 | HyperAI超神经