4 个月前

基于对象运动预测的未来视频合成

基于对象运动预测的未来视频合成

摘要

我们提出了一种基于过去连续视频帧序列预测未来视频帧的方法。该方法并非直接合成图像,而是通过分离背景场景和移动物体来理解复杂的场景动态。未来场景组件的外观通过非刚性变形背景和移动物体的仿射变换进行预测。预期的外观被组合以生成合理的未来视频。通过这一过程,我们的方法在减少撕裂或失真伪影方面表现出明显优势。在Cityscapes和KITTI数据集上的实验结果表明,我们的模型在视觉质量和准确性方面优于现有最先进方法。

代码仓库

基准测试

基准方法指标
video-prediction-on-cityscapes-1FVS
LPIPS: 0.0850
MS-SSIM: 0.8910
video-prediction-on-kittiFVS
LPIPS: 0.1848
MS-SSIM: 0.7928

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于对象运动预测的未来视频合成 | 论文 | HyperAI超神经