4 个月前

HyperE2VID:通过超网络改进基于事件的视频重建

HyperE2VID:通过超网络改进基于事件的视频重建

摘要

事件相机因其能够以低延迟和高动态范围捕捉高速运动而越来越受到欢迎。然而,从事件数据生成视频仍然具有挑战性,这主要是由于事件数据的高度稀疏性和变化性。为了解决这一问题,本研究提出了一种基于事件的视频重建动态神经网络架构——HyperE2VID。我们的方法利用超网络生成由上下文融合模块指导的逐像素自适应滤波器,该模块结合了事件体素网格和先前重建的强度图像的信息。此外,我们还采用了课程学习策略来更稳健地训练网络。我们在多个基准数据集上进行了全面的实验评估,结果表明,HyperE2VID不仅在重建质量上超过了当前最先进的方法,而且在参数数量更少、计算需求更低以及推理时间更快方面也表现出色。

代码仓库

ercanburak/HyperE2VID
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
event-based-video-reconstruction-on-eventHyperE2VID
Mean Squared Error: 0.033
video-reconstruction-on-event-camera-datasetHyperE2VID
LPIPS: 0.212
Mean Squared Error: 0.033
video-reconstruction-on-mvsecHyperE2VID
LPIPS: 0.476
Mean Squared Error: 0.076

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HyperE2VID:通过超网络改进基于事件的视频重建 | 论文 | HyperAI超神经