摘要

作为在图像超分辨率（SR）领域成功应用的深度模型，超分辨率卷积神经网络（SRCNN）在速度和恢复质量方面均表现出优于以往手工设计模型的性能。然而，高昂的计算成本仍然限制了其在需要实时性能（24帧/秒）的实际应用中的使用。本文旨在加速当前的SRCNN，并提出了一种紧凑的沙漏形CNN结构以实现更快且更好的超分辨率重建。我们主要从三个方面重新设计了SRCNN结构。首先，在网络末尾引入了一个反卷积层，从而可以直接从原始低分辨率图像（无需插值）学习到高分辨率图像的映射。其次，我们通过在映射前缩小输入特征维度并在映射后恢复其大小来重新定义映射层。最后，我们采用了更小的滤波器尺寸但增加了更多的映射层。所提出的模型实现了超过40倍的速度提升，并且恢复质量甚至更高。此外，我们还提出了可以在通用CPU上实现实时性能的同时仍保持良好表现的参数设置方案。为了加快不同放大倍率下的训练和测试，本文还提出了一种相应的迁移策略。