4 个月前

语义人像抠图

语义人像抠图

摘要

人类抠图(human matting),即从自然图像中高质量提取人物,对于多种应用至关重要。由于抠图问题严重欠约束,大多数先前的方法需要用户交互以提供用户指定的三色图或涂鸦作为约束条件。这种依赖用户参与的特性使得它们难以应用于大规模数据或时间敏感的场景。本文提出了一种自动人类抠图算法(SHM),该算法不使用显式的用户输入约束,而是利用从数据中学习到的隐式语义约束。SHM 是首个通过深度网络同时拟合语义信息和高质量细节的算法。在实际应用中,同时学习粗略的语义和精细的细节具有挑战性。我们提出了一种新颖的融合策略,能够自然地给出 alpha 通道的概率估计。此外,我们构建了一个包含 35,513 个独特前景的大规模高质量注释数据集,以促进人类抠图的学习和评估。在该数据集及大量真实图像上的广泛实验表明,SHM 在结果上可与最先进的交互式抠图方法相媲美。

基准测试

基准方法指标
image-matting-on-aim-500SHM
Conn.: 170.67
Grad.: 115.29
MAD: 0.1012
MSE: 0.0921
SAD: 170.44
image-matting-on-am-2kSHM
MAD: 0.0102
MSE: 0.0068
SAD: 17.81
image-matting-on-p3m-10kSHM
MAD: 0.0125
MSE: 0.0100
SAD: 21.56

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
语义人像抠图 | 论文 | HyperAI超神经