雨痕会严重降低图像的可见度，导致许多当前的计算机视觉算法无法正常工作。因此，从图像中去除雨水是必要的。我们提出了一种基于深度卷积神经网络和递归神经网络的新型深层网络架构，用于单幅图像去雨。由于上下文信息对于去雨任务非常重要，我们首先采用了扩张卷积神经网络以获得较大的感受野。为了更好地适应去雨任务，我们还对网络进行了修改。在大雨中，雨痕具有多种方向和形状，可以视为多层雨痕的累积。通过引入挤压激励块（Squeeze-and-Excitation Block），我们根据强度和透明度为不同的雨痕层分配不同的alpha值。由于雨痕层相互重叠，单阶段去除雨水较为困难。因此，我们将去雨过程分解为多个阶段，并引入递归神经网络来保留前一阶段中的有用信息，从而有助于后续阶段的去雨效果。我们在合成数据集和真实世界数据集上进行了广泛的实验。实验结果表明，我们的方法在所有评估指标下均优于现有最先进方法。代码和补充材料可在项目网页上获取：https://xialipku.github.io/RESCAN 。