
摘要
图像抠图是计算机视觉中的一个基本问题,具有广泛的应用。然而,现有的算法在处理前景和背景颜色相似或纹理复杂的图像时表现不佳。主要原因在于先前的方法:1)仅使用低级特征;2)缺乏高级上下文。本文提出了一种基于深度学习的新算法,能够解决这两个问题。我们的深度模型包含两个部分。第一部分是一个深度卷积编码器-解码器网络,该网络以图像及其对应的三值图(trimap)作为输入,预测图像的透明度蒙版(alpha matte)。第二部分是一个小型卷积网络,用于细化第一网络生成的透明度蒙版预测结果,以获得更精确的透明度值和更清晰的边缘。此外,我们还创建了一个大规模的图像抠图数据集,包括49300张训练图像和1000张测试图像。我们在图像抠图基准数据集、我们的测试集以及各种真实图像上对算法进行了评估。实验结果清楚地表明了我们算法相对于现有方法的优势。
代码仓库
PaddlePaddle/PaddleSeg
paddle
hustvl/matte-anything
pytorch
GitHub 中提及
kritiksoman/GIMP-ML
pytorch
brendanvonhofe/telescope-nn
pytorch
GitHub 中提及
foamliu/deep-image-matting-pytorch
pytorch
GitHub 中提及
minus31/Portrait-segmentation
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-matting-on-composition-1k-1 | DIM | Conn: 50.8 Grad: 31.0 MSE: 14.0 |
| semantic-image-matting-on-semantic-image | DIM | Conn: 46.26 Grad: 31.67 MSE(10^3): 15.0 SAD: 48.07 |