3 个月前

基于粗略标注的语义人体抠图增强

基于粗略标注的语义人体抠图增强

摘要

语义人体抠图旨在估计前景人体区域中每个像素的透明度(即α值)。该任务极具挑战性,通常需要用户交互式提供的trimap以及大量高质量的标注数据。然而,获取此类数据耗时耗力,且对标注者的技术要求较高,尤其在处理人体细节(如头发)时更为困难。相比之下,粗粒度标注的人体数据则更容易获取,可从公开数据集中较便捷地收集。本文提出一种新方法,利用粗粒度标注数据与细粒度标注数据相结合的方式,在无需额外trimap输入的前提下,实现端到端的语义人体抠图。具体而言,我们训练一个掩码预测网络,基于混合数据学习生成粗粒度语义掩码;随后设计一个质量统一网络,用于统一前序粗粒度掩码输出的质量一致性;最后,通过一个抠图精化网络,将统一后的掩码与输入图像联合输入,以预测最终的α抠图。所收集的粗粒度标注数据显著丰富了我们的训练数据集,从而能够为真实图像生成高质量的α抠图。实验结果表明,所提方法在性能上可与当前最先进的方法相媲美。此外,该方法还可用于优化粗粒度标注的公开数据集,以及改进语义分割模型的输出,从而大幅降低高质量人体标注数据的获取成本。

代码仓库

youngLBW/HRN
pytorch
GitHub 中提及

基准测试

基准方法指标
image-matting-on-am-2kSHMC
MAD: 0.0356
MSE: 0.0270
SAD: 61.50

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于粗略标注的语义人体抠图增强 | 论文 | HyperAI超神经