摘要

我们提出了一种基于有限数据源生成 alpha 蒙版的方法。首先，我们在人像数据集上对一种新型基于 Transformer 的模型（StyleMatte）进行预训练。随后，利用该模型生成图像-掩码配对数据，用于训练基于 StyleGAN3 架构的网络（StyleMatteGAN）。该网络采用无监督方式训练，并生成此前未见过的图像-掩码训练样本，反馈回 StyleMatte 模型以实现迭代优化。实验表明，该循环过程显著提升了蒙版提取网络的性能，在人像数据集上取得了顶尖结果，并在动物图像数据集上达到了当前最先进的评估指标。此外，StyleMatteGAN 能够生成高分辨率、具备隐私保护特性的带 alpha 蒙版人像图像，适用于多种图像合成任务。相关代码已开源，地址为：https://github.com/chroneus/stylematte