摘要

全局操作，如全局平均池化，在高性能图像修复模型中被广泛使用。这些操作沿整个空间维度从输入特征中聚合全局信息，但在图像修复任务的训练和推理过程中表现不同：它们基于不同的区域，即训练时的裁剪块（来自图像）和推理时的全分辨率图像。本文重新审视了全局信息聚合，并发现推理过程中基于图像的特征分布与训练过程中基于裁剪块的特征分布存在差异。这种训练-测试不一致性对模型性能产生了负面影响，而以往的研究对此严重忽视。为了减少这种不一致性并提高测试时的性能，我们提出了一种简单的方法，称为测试时间局部转换器（Test-time Local Converter, TLC）。我们的TLC仅在推理阶段将全局操作转换为局部操作，从而使特征聚合在局部空间区域内进行，而不是在整个大图像上进行。所提出的TLC方法可以应用于各种全局模块（例如归一化、通道和空间注意力机制），且成本可忽略不计。无需任何微调，TLC在多个图像修复任务上提高了最先进的结果，包括单幅图像运动去模糊、视频去模糊、散焦去模糊和图像降噪。特别是，在GoPro数据集上，使用TLC后的Restormer-Local将单幅图像去模糊的最新结果从32.92 dB提升至33.57 dB。代码可在以下地址获取：https://github.com/megvii-research/tlc。