
摘要
在线经济的发展催生了对生成模特穿着服装图像的强烈需求,以展示新款服装并促进销售。然而,在这一场景中,昂贵的专有模特图像对现有的图像虚拟试穿方法构成了挑战,因为大多数现有方法需要在大量配有对应服装图像的模特图像上进行训练。为此,本文提出了一种低成本且可扩展的弱监督方法——深度生成投影(Deep Generative Projection, DGP),以应对这一特定场景。该方法的核心思想是模拟人类预测穿着效果的过程,即基于生活经验进行无监督的想象,而非依赖于监督学习所获得的计算规则。为此,本文采用预训练的StyleGAN模型来捕捉真实的穿着经验。实验表明,将服装与人体的粗略对齐信息投影至StyleGAN隐空间,即可生成高度逼真的穿着效果图像。在真实场景下的专有模特图像数据集上的实验结果表明,DGP在生成服装模特图像方面显著优于多种前沿的监督学习方法。
代码仓库
RuiLiFeng/Deep-Generative-Projection
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| virtual-try-on-on-mpv | DGP | FID: 48.4 SWD: 36.7 |