摘要

基于三元图（trimap）指导与多层级特征融合是实现像素级预测的三元图引导抠图方法中的两个关键问题。为有效利用三元图的指导信息，现有大多数方法通常将三元图与图像简单拼接后输入深度网络，或引入额外网络以提取更丰富的三元图引导特征，但这往往在效率与效果之间产生矛盾。针对新兴的内容感知特征融合策略，现有抠图方法大多仅关注局部特征，缺乏具有强语义信息的全局特征对感兴趣对象的引导作用。本文提出一种三元图引导的特征挖掘与融合网络（TMFNet），其核心由两个模块构成：三元图引导的非背景多尺度池化模块（TMP）和全局-局部上下文感知融合模块（GLF）。考虑到三元图本身具备强语义指导能力，TMP模块在无需引入额外参数的前提下，能够基于三元图的引导，聚焦于感兴趣对象区域进行高效特征挖掘。进一步地，GLF模块利用TMP模块挖掘出的感兴趣对象全局语义信息，指导实现一种全局-局部上下文感知的多层级特征融合机制，显著提升特征表达能力。此外，本文构建了一个通用感兴趣对象抠图数据集（Common Interesting Object Matting, CIOM），以推动高质量图像抠图技术的发展。实验结果表明，在Composition-1k和自建CIOM数据集上，所提方法相比一个强基线模型，分别在SAD指标上实现了13%和25%的相对提升，且模型参数更少、浮点运算量（FLOPs）减少14%。在Composition-1k测试集、Alphamatting基准以及CIOM测试集上的综合实验结果均表明，本方法优于当前最先进的抠图技术。相关代码与模型已开源，地址为：https://github.com/Serge-weihao/TMF-Matting。