尽管深度端到端学习方法在去除非均匀运动模糊方面表现出色，但当前的多尺度和尺度递归模型仍面临主要挑战：1）粗到细方案中的反卷积/上采样操作导致运行时间昂贵；2）仅通过增加更细尺度级别的模型深度无法提高去模糊的质量。为了解决上述问题，我们提出了一种受空间金字塔匹配（Spatial Pyramid Matching）启发的深度分层多块网络，通过细到粗的分层表示来处理模糊图像。为了应对随着深度增加而出现的性能饱和问题，我们提出了多块模型的堆叠版本。我们提出的基线多块模型在GoPro数据集上达到了最先进的性能，同时比现有的多尺度方法快40倍。该模型能够在30毫秒内处理分辨率为1280x720的图像，成为首个支持720p图像以30帧每秒实时去运动模糊的深度学习模型。对于堆叠网络，通过增加网络深度，在GoPro数据集上实现了显著的性能提升（超过1.2 dB）。此外，通过调整堆叠模型的深度，可以在不同的应用场景中灵活适应同一网络的性能和运行时间。