摘要

基于图像的虚拟试穿旨在将店铺内拍摄的服装图像无缝融合到已着装人物的图像中。为实现这一目标，关键步骤在于服装形变（garment warping），即在空间上将目标服装与人物图像中的对应身体部位对齐。以往的方法通常采用局部外观光流估计模型，因而本质上容易受到复杂人体姿态、遮挡以及人物图像与服装图像之间大范围错位的影响（见图~\ref{fig:fig1}）。为克服这一局限，本文提出一种新型的全局外观光流估计模型。首次将基于StyleGAN的架构应用于外观光流估计任务，从而能够利用全局风格向量编码整幅图像的上下文信息，有效应对上述挑战。为进一步引导StyleGAN光流生成器关注局部服装形变，本文还引入了一个光流精炼模块，以增强局部上下文信息的建模能力。在主流虚拟试穿基准数据集上的实验结果表明，所提方法达到了新的最先进性能。尤其在“野外”（in-the-wild）应用场景下表现突出——当参考图像为全身图像时，与服装图像之间存在较大错位，本方法仍能保持优异的对齐效果（见图~\ref{fig:fig1}顶部）。代码已开源，地址为：\url{https://github.com/SenHe/Flow-Style-VTON}。