摘要

图像和谐化旨在根据特定背景调整合成区域的颜色。以往的方法通常将该任务建模为基于UNet系列结构的像素级图像到图像转换，然而其模型规模和计算开销限制了其在边缘设备及高分辨率图像上的应用能力。为此，本文首次提出一种新型的空间分离曲线渲染网络（Spatial-separated Curve Rendering Network, S²CRNet），以实现高效且高分辨率的图像和谐化。在S²CRNet中，我们首先分别从掩码前景和背景的缩略图中提取空间分离的嵌入表示。随后，设计了一种曲线渲染模块（Curve Rendering Module, CRM），该模块利用线性层学习并融合空间特异性知识，生成前景区域中分段曲线映射的参数。最后，直接使用学习到的颜色曲线对原始高分辨率图像进行渲染。此外，我们还通过级联式CRM（Cascaded-CRM）和语义引导CRM（Semantic-CRM）两种扩展方式，分别实现级联式精细化优化与语义引导，进一步提升生成质量。实验结果表明，所提方法相比以往方法参数量减少超过90%，同时在合成数据集iHarmony4和真实世界数据集DIH上均达到了当前最优性能。更重要的是，该方法可在0.1秒内处理高达2048×2048分辨率的图像，且所需GPU计算资源远低于现有所有方法。代码将公开于：http://github.com/stefanLeong/S2CRNet。