
摘要
事件相机因其能够以低延迟和高动态范围捕捉高速运动而越来越受到欢迎。然而,从事件数据生成视频仍然具有挑战性,这主要是由于事件数据的高度稀疏性和变化性。为了解决这一问题,本研究提出了一种基于事件的视频重建动态神经网络架构——HyperE2VID。我们的方法利用超网络生成由上下文融合模块指导的逐像素自适应滤波器,该模块结合了事件体素网格和先前重建的强度图像的信息。此外,我们还采用了课程学习策略来更稳健地训练网络。我们在多个基准数据集上进行了全面的实验评估,结果表明,HyperE2VID不仅在重建质量上超过了当前最先进的方法,而且在参数数量更少、计算需求更低以及推理时间更快方面也表现出色。
代码仓库
ercanburak/HyperE2VID
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| event-based-video-reconstruction-on-event | HyperE2VID | Mean Squared Error: 0.033 |
| video-reconstruction-on-event-camera-dataset | HyperE2VID | LPIPS: 0.212 Mean Squared Error: 0.033 |
| video-reconstruction-on-mvsec | HyperE2VID | LPIPS: 0.476 Mean Squared Error: 0.076 |