4 个月前

隐式神经微分方程用于视频生成

隐式神经微分方程用于视频生成

摘要

生成对抗网络(Generative Adversarial Networks, GANs)在视频生成方面最近展现出巨大潜力,这一进展建立在图像生成成功的基础上,同时应对了一个新的挑战:时间。尽管早期的一些研究已经分析了时间因素,但文献中对时间建模的发展尚未充分跟进。本文研究了神经微分方程(Neural Differential Equations, NDEs)在建模视频生成的时间动态方面的效果。神经微分方程范式具有许多理论优势,包括首次在视频生成中实现时间的连续表示。为了探讨神经微分方程的影响,我们调查了时间模型的变化如何影响生成视频的质量。我们的结果支持使用神经微分方程作为旧时间生成器的简单替代方案。在保持运行时间相似并减少参数数量的情况下,我们在64×64像素无条件视频生成方面取得了新的最先进水平,其Inception评分为15.20。

基准测试

基准方法指标
video-generation-on-ucf-101-16-framesTGANv2-ODE
Inception Score: 21.02
video-generation-on-ucf-101-16-frames-128x128TGANv2-ODE
Inception Score: 21.02
video-generation-on-ucf-101-16-frames-64x64TGAN-ODE
FID: 26512
Inception Score: 15.20

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
隐式神经微分方程用于视频生成 | 论文 | HyperAI超神经