摘要

户外视觉系统经常受到雨痕和雨滴的污染，这显著降低了视觉任务和多媒体应用的性能。视频的特性表现为具有冗余的时间线索，这些线索在去除雨水方面表现出更高的稳定性。传统的视频去雨方法严重依赖光流估计和基于核的方法，但这些方法的接受域有限。然而，虽然变压器架构能够捕捉长期依赖关系，却导致计算复杂度显著增加。最近，状态空间模型（SSMs）的线性复杂度算子反而促进了高效的时间建模，这对于视频中雨痕和雨滴的去除至关重要。出乎意料的是，其对视频的一维顺序处理破坏了时空维度上的局部相关性，使相邻像素之间的距离增大。为了解决这一问题，我们提出了一种改进的状态空间模型（SSMs）基础的视频去雨网络（RainMamba），该网络采用了一种新颖的希尔伯特扫描机制来更好地捕获序列级别的局部信息。我们还引入了一种差异引导的动态对比局部学习策略，以增强所提网络在补丁级别上的自相似性学习能力。在四个合成视频去雨数据集和真实世界中的雨天视频上进行的大量实验表明，我们的网络在去除雨痕和雨滴方面的有效性和高效性。我们的代码和结果可在 https://github.com/TonyHongtaoWu/RainMamba 获取。