
摘要
人类抠图(human matting),即从自然图像中高质量提取人物,对于多种应用至关重要。由于抠图问题严重欠约束,大多数先前的方法需要用户交互以提供用户指定的三色图或涂鸦作为约束条件。这种依赖用户参与的特性使得它们难以应用于大规模数据或时间敏感的场景。本文提出了一种自动人类抠图算法(SHM),该算法不使用显式的用户输入约束,而是利用从数据中学习到的隐式语义约束。SHM 是首个通过深度网络同时拟合语义信息和高质量细节的算法。在实际应用中,同时学习粗略的语义和精细的细节具有挑战性。我们提出了一种新颖的融合策略,能够自然地给出 alpha 通道的概率估计。此外,我们构建了一个包含 35,513 个独特前景的大规模高质量注释数据集,以促进人类抠图的学习和评估。在该数据集及大量真实图像上的广泛实验表明,SHM 在结果上可与最先进的交互式抠图方法相媲美。
代码仓库
lizhengwei1992/Semantic_Human_Matting
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-matting-on-aim-500 | SHM | Conn.: 170.67 Grad.: 115.29 MAD: 0.1012 MSE: 0.0921 SAD: 170.44 |
| image-matting-on-am-2k | SHM | MAD: 0.0102 MSE: 0.0068 SAD: 17.81 |
| image-matting-on-p3m-10k | SHM | MAD: 0.0125 MSE: 0.0100 SAD: 21.56 |