摘要

事件相机与传统RGB相机的主要区别在于其输出异步数据序列。与固定帧率捕获每一帧的RGB相机不同，事件相机仅记录场景中的变化，从而生成稀疏且异步的数据输出。尽管事件数据蕴含着可用于提升RGB相机运动去模糊性能的有用信息，但如何有效融合事件数据与图像信息仍是当前面临的重要挑战。近年来，基于卷积神经网络（CNN）的去模糊方法通常通过在一定时间周期内累积事件数据，生成多个二维事件帧。然而，在大多数现有技术中，事件帧的数量是固定且预先设定的，这在快速运动物体出现或需要较长曝光时间的场景下，会显著降低时间分辨率。此外，值得注意的是，现代相机（如智能手机中的摄像头）通常会动态调整图像曝光时间，这进一步加剧了针对固定事件帧数量设计的网络在实际应用中的局限性。为应对上述挑战，本文提出了一种基于长短期记忆网络（LSTM）的事件特征提取模块，该模块支持动态变化的事件帧数量输入。基于该模块，我们构建了当前最先进的去模糊网络——可变形卷积与LSTM融合的灵活事件帧融合网络（Deformable Convolutions and LSTM-based Flexible Event Frame Fusion Network, DLEFNet）。该方法特别适用于曝光时间因光照条件变化或场景中存在高速运动物体而动态调整的复杂场景。实验结果表明，无论在合成数据集还是真实世界数据集上，所提出的DLEFNet均显著优于现有的最先进去模糊网络，在去模糊性能方面展现出优越表现。