3 个月前

漫画领域中的图像深度估计

漫画领域中的图像深度估计

摘要

漫画图像的深度估计具有挑战性,主要原因包括:a)图像为单目图像;b)缺乏真实的深度标注;c)不同艺术风格之间差异显著;d)图像信息稀疏且噪声较多。为此,我们采用一种现成的无监督图像到图像转换方法,将漫画图像转换为自然图像,随后利用一种注意力引导的单目深度估计模型来预测其深度。该方法使我们能够借助现有自然图像中的深度标注数据来训练深度估计模型。此外,我们的模型能够学习区分漫画画面中的文字与图像区域,从而有效减少深度估计结果中由文字引起的伪影。在DCM和eBDtheque两个数据集上的各项指标上,我们的方法均持续优于现有的最先进方法。最后,我们构建了一个用于评估漫画图像深度预测性能的新数据集。项目主页可访问:https://github.com/IVRL/ComicsDepth。

代码仓库

IVRL/ComicsDepth
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
depth-estimation-on-dcmBhattacharjee et al.
Abs Rel: 0.251
RMSE: 0.971
RMSE log: 0.305
Sq Rel: 0.318
depth-estimation-on-ebdthequeBhattacharjee et al.
Abs Rel: 0.376
RMSE: 1.364
RMSE log: 0.553
Sq Rel: 0.448

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
漫画领域中的图像深度估计 | 论文 | HyperAI超神经