4 个月前

深度图像在双色空间中的和谐化

深度图像在双色空间中的和谐化

摘要

图像和谐化是图像合成中的一个关键步骤,旨在调整复合前景的外观以解决前景与背景之间的不一致性问题。现有的方法主要在相关联的 $RGB$ 色彩空间中进行操作,导致特征纠缠和表示能力有限。相比之下,去相关色彩空间(例如 $Lab$)具有去相关的通道,可以提供解耦的颜色和光照统计信息。本文中,我们探索了双色彩空间中的图像和谐化方法,该方法通过补充纠缠的 $RGB$ 特征与解耦的 $L$、$a$、$b$ 特征来减轻和谐化过程中的工作量。网络由 $RGB$ 和谐化主干、$Lab$ 编码模块和 $Lab$ 控制模块组成。主干部分是一个 U-Net 网络,用于将复合图像转换为和谐化图像。$Lab$ 编码模块中的三个编码器分别从 $L$、$a$、$b$ 通道中提取三个控制代码,这些代码通过 $Lab$ 控制模块操纵和谐化主干中的解码器特征。我们的代码和模型可在 \href{https://github.com/bcmi/DucoNet-Image-Harmonization}{https://github.com/bcmi/DucoNet-Image-Harmonization} 获取。

代码仓库

bcmi/duconet-image-harmonization
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-harmonization-on-hadobe5k-1024-timesDucoNet
MSE: 10.94
PSNR: 41.37
SSIM: 0.9886
fMSE: 80.69
image-harmonization-on-iharmony4DucoNet
MSE: 18.47
PSNR: 39.17
fMSE: 212.53

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供