摘要

现有的基于深度学习的夜间视频去雨方法由于缺乏真实世界的配对数据而依赖合成数据。然而，现实世界中的复杂情况，尤其是光效和受噪声影响的低光照区域，导致了显著的领域差距，使得仅在合成数据上训练的模型难以有效去除雨条纹，并且容易出现过饱和和颜色偏移的问题。鉴于此，我们提出了一种名为NightRain的新颖夜间视频去雨方法，该方法具有自适应去雨和自适应校正功能。我们的自适应去雨模块利用未标记的雨视频使模型能够在现实世界中去除雨条纹，特别是在受到复杂光效影响的区域。其核心思想是通过置信度分数来获取无雨区域。一旦获得无雨区域及其对应的输入区域，我们就可以得到基于区域的真实配对数据。这些配对数据用于通过教师-学生框架训练我们的模型，使模型能够从较简单的区域逐步学习到更复杂的区域。我们的自适应校正模块旨在纠正模型预测中的错误，例如过饱和和颜色偏移。其核心思想是根据清晰夜景输入训练视频与其对应预测之间的差异或距离进行学习。模型从这些差异中学习，从而迫使模型纠正错误。通过大量实验验证，我们的方法展示了最先进的性能。它实现了26.73 dB的峰值信噪比（PSNR），比现有夜间视频去雨方法高出13.7%的显著优势。