4 个月前

基于解耦特征的视频预测互抑制网络

基于解耦特征的视频预测互抑制网络

摘要

视频预测一直被认为是一个难题,因为视频不仅包含高维的空间信息,还包含复杂的时间信息。视频预测可以通过在最近的几帧中找到特征,并利用这些特征生成对后续帧的近似来实现。我们通过在视频中解耦空间和时间特征来解决这一问题。为此,我们引入了一种互抑制网络(MSnet),该网络以对抗的方式进行训练,从而生成不含运动信息的空间特征以及不含空间信息的运动特征。MSnet 利用编码器-解码器架构中的运动引导连接,将前一帧的空间特征转换到后续帧的时间点。我们展示了如何使用解耦表示法通过 MSnet 进行视频预测,并进行了实验以评估我们的方法在解耦特征方面的有效性。尽管 MSnet 的编码器更为简单,但其结果优于其他近期的视频预测方法。

基准测试

基准方法指标
video-prediction-on-kthMSNET
Cond: 10
PSNR: 27.08
Pred: 20
SSIM: 0.876

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供