摘要

在驾驶过程中，挡风玻璃上的水滴会造成严重的视线障碍，可能导致交通事故。同时，这些水滴还会降低自动驾驶计算机视觉系统的性能。为了解决这些问题，我们提出了一种基于注意力机制的框架，该框架通过融合多帧图像中的时空表示来恢复被水滴遮挡的视觉信息。由于缺乏用于视频水滴去除的训练数据，我们构建了一个大规模的合成数据集，该数据集模拟了雨天复杂驾驶场景中的水滴。为了提高所提方法的泛化能力，我们采用了跨模态训练策略，结合了合成视频和真实世界的图像。大量实验表明，我们的方法在复杂的实际驾驶场景中具有良好的泛化能力和最佳的水滴去除效果。