摘要

虚拟试衣系统在任意人体姿态下的应用潜力巨大，但也带来了诸多挑战，例如自遮挡、不同姿态之间的严重错位以及衣物纹理的多样性。现有的方法虽然旨在将新衣服适配到人体上，但仅能在固定的人体姿态下进行衣物转移，且性能往往不尽如人意，经常无法保留身份特征、丢失纹理细节并减少姿态多样性。本文首次尝试构建多姿态引导的虚拟试衣系统，该系统能够在不同姿态下的人物图像中实现衣物转移。给定一张输入人物图像、一张目标衣物图像和一个期望的姿态，所提出的多姿态引导虚拟试衣网络（MG-VTON）可以在将目标衣物适配到输入图像并操纵人体姿态后生成新的人员图像。我们的MG-VTON分为三个阶段构建：1）合成目标图像所需的期望人体解析图，以匹配期望的姿态和目标衣物的形状；2）利用深度变形生成对抗网络（Warp-GAN）将目标衣物外观变形到合成的人体解析图中，缓解输入人体姿态与期望人体姿态之间的错位问题；3）使用多姿态组合掩模的细化渲染器恢复衣物的纹理细节并去除一些伪影。在知名数据集和我们新收集的最大虚拟试衣基准数据集上的大量实验表明，我们的MG-VTON在定性和定量方面均显著优于所有现有最先进方法，并展现出令人鼓舞的多姿态虚拟试衣性能。