摘要

事件相机通过检测时空亮度变化来输出事件，为图像传感器带来了高动态范围与低延迟的新范式。以往研究通过引入卷积神经网络（CNN）在基于事件的视频重建任务中取得了令人瞩目的性能。然而，卷积操作固有的局部性难以建模长程依赖关系，而长程依赖对众多视觉任务至关重要。为此，本文提出一种混合CNN-Transformer网络结构用于事件驱动的视频重建（ET-Net），该方法兼具CNN对局部细节的精细捕捉能力与Transformer对全局上下文的建模优势。此外，我们进一步设计了一种Token金字塔聚合（Token Pyramid Aggregation）策略，实现多尺度Token的融合，以在Token空间中有效关联内部与交叉的语义概念。实验结果表明，所提方法在多个真实世界事件数据集上均显著优于现有最先进方法。代码已开源，地址为：https://github.com/WarranWeng/ET-Net。