
摘要
我们提出了一种用于用户引导图像着色的深度学习方法。该系统通过卷积神经网络(CNN)直接将灰度图像与稀疏的局部用户“提示”映射到输出着色图像。与使用手工定义的规则不同,网络通过融合低级线索和从大规模数据中学习到的高级语义信息来传播用户编辑。我们在一百万张带有模拟用户输入的图像上进行训练。为了指导用户高效选择输入,系统根据输入图像和当前用户输入推荐可能的颜色。着色过程在单次前向传递中完成,从而实现实时应用。即使使用随机模拟的用户输入,我们也展示了所提出的系统能够帮助初学者快速创建逼真的着色效果,并且只需一分钟的使用即可显著提高着色质量。此外,我们还证明了该框架可以结合其他用户的“提示”来实现所需的着色效果,展示了一个应用于颜色直方图转移的例子。我们的代码和模型可在 https://richzhang.github.io/ideepcolor 获取。
代码仓库
kritiksoman/GIMP-ML
pytorch
GitHub 中提及
CocoSungMin/Gachon_SW_Colorization_Contest
pytorch
GitHub 中提及
junyanz/interactive-deep-colorization
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| point-interactive-image-colorization-on | iDeepColor | PSNR@1: 26.937 PSNR@10: 29.009 PSNR@100: 31.58 |
| point-interactive-image-colorization-on-1 | iDeepColor | PSNR@1: 22.72 PSNR@10: 25.13 PSNR@100: 27.826 |
| point-interactive-image-colorization-on-cub | iDeepColor | PSNR@1: 27.45 PSNR@10: 29.32 PSNR@100: 31.57 |