4 个月前

基于学习的深度先验实时用户引导图像上色

基于学习的深度先验实时用户引导图像上色

摘要

我们提出了一种用于用户引导图像着色的深度学习方法。该系统通过卷积神经网络(CNN)直接将灰度图像与稀疏的局部用户“提示”映射到输出着色图像。与使用手工定义的规则不同,网络通过融合低级线索和从大规模数据中学习到的高级语义信息来传播用户编辑。我们在一百万张带有模拟用户输入的图像上进行训练。为了指导用户高效选择输入,系统根据输入图像和当前用户输入推荐可能的颜色。着色过程在单次前向传递中完成,从而实现实时应用。即使使用随机模拟的用户输入,我们也展示了所提出的系统能够帮助初学者快速创建逼真的着色效果,并且只需一分钟的使用即可显著提高着色质量。此外,我们还证明了该框架可以结合其他用户的“提示”来实现所需的着色效果,展示了一个应用于颜色直方图转移的例子。我们的代码和模型可在 https://richzhang.github.io/ideepcolor 获取。

代码仓库

kritiksoman/GIMP-ML
pytorch
GitHub 中提及
junyanz/interactive-deep-colorization
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
point-interactive-image-colorization-oniDeepColor
PSNR@1: 26.937
PSNR@10: 29.009
PSNR@100: 31.58
point-interactive-image-colorization-on-1iDeepColor
PSNR@1: 22.72
PSNR@10: 25.13
PSNR@100: 27.826
point-interactive-image-colorization-on-cubiDeepColor
PSNR@1: 27.45
PSNR@10: 29.32
PSNR@100: 31.57

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于学习的深度先验实时用户引导图像上色 | 论文 | HyperAI超神经