3 个月前

PP-Matting:高精度自然图像抠图

PP-Matting:高精度自然图像抠图

摘要

自然图像抠图(natural image matting)是计算机视觉领域一项基础且具有挑战性的任务,在图像编辑与合成中具有广泛应用。近年来,基于深度学习的方法在图像抠图性能上取得了显著提升。然而,大多数现有方法仍依赖用户提供的三图(trimap)作为辅助输入,这一限制显著制约了其在真实场景中的应用。尽管已有部分无需三图的方法被提出,但其抠图质量相较于基于三图的方法仍存在明显差距。在缺乏三图引导的情况下,模型容易产生前景与背景之间的混淆,并在前景与背景的过渡区域生成模糊细节。针对上述问题,本文提出一种无需三图的新型架构——PP-Matting,能够实现高精度的自然图像抠图。该方法引入一个高分辨率细节分支(High-Resolution Detail Branch, HRDB),在保持特征图分辨率不变的前提下,有效提取前景的细粒度结构信息。同时,我们设计了一个语义上下文分支(Semantic Context Branch, SCB),通过引入语义分割作为辅助任务,增强模型对全局语义上下文的理解,从而缓解因语义信息缺失导致的局部模糊问题。我们在两个公认的基准数据集——Composition-1k 和 Distinctions-646 上进行了大量实验,结果表明,PP-Matting 在各项指标上均显著优于现有方法。此外,我们在人像抠图任务上进行了定性评估,进一步验证了该方法在实际应用中的卓越表现。相关代码与预训练模型将开源至 PaddleSeg 项目:https://github.com/PaddlePaddle/PaddleSeg。

代码仓库

PaddlePaddle/PaddleSeg
官方
paddle
GitHub 中提及

基准测试

基准方法指标
image-matting-on-composition-1k-1PP-Matting
Conn: 45.4
Grad: 22.69
MSE: 5.0
SAD: 46.22
image-matting-on-distinctions-646PP-Matting
Conn: 40.56
Grad: 43.91
MSE: 0.009
SAD: 40.69
Trimap: ×

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PP-Matting:高精度自然图像抠图 | 论文 | HyperAI超神经