3 个月前

上下文感知的图像抠图用于前景与Alpha图的联合估计

上下文感知的图像抠图用于前景与Alpha图的联合估计

摘要

自然图像抠图是计算机视觉与图形学领域中的一个重要问题。当仅提供输入图像而缺乏任何外部信息时,该问题属于病态问题。尽管近年来基于深度学习的方法已取得令人瞩目的进展,但这些方法通常仅能估计透明度掩膜(alpha matte)。本文提出了一种上下文感知的自然图像抠图方法,可实现前景图像与透明度掩膜的联合估计。该方法采用两个编码器网络来提取抠图所需的关键信息:其中,抠图编码器用于学习局部特征,上下文编码器则用于获取更具全局性的上下文信息。我们将两个编码器的输出进行拼接,并输入解码器网络,以实现前景图像与透明度掩膜的同步估计。为训练整个深度神经网络,我们同时采用标准的拉普拉斯损失(Laplacian loss)与特征损失(feature loss):前者有助于提升数值精度,后者则能生成更具视觉合理性的结果。此外,本文还提出多种数据增强策略,显著提升了网络的泛化能力。定性与定量实验结果表明,所提方法能够在单张自然图像上实现高质量的抠图效果。相关推理代码与预训练模型已公开发布于 GitHub:https://github.com/hqqxyy/Context-Aware-Matting。

代码仓库

hqqxyy/Context-Aware-Matting
官方
tf
GitHub 中提及

基准测试

基准方法指标
image-matting-on-composition-1k-1Context-Aware Matting
Conn: 33.2
Grad: 17.3
MSE: 8.2
SAD: 35.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
上下文感知的图像抠图用于前景与Alpha图的联合估计 | 论文 | HyperAI超神经