摘要

基于深度学习的图像驱动虚拟试穿（Image-based Virtual Try-On, VTON）系统近年来吸引了广泛的研究与商业关注。尽管这类系统在人物与试穿服装图像的融合以及遮挡区域的合成方面展现出显著优势，但在处理复杂姿态人物时，其效果往往不尽如人意，主要受限于其在几何形变建模与纹理保持能力方面的不足。为应对上述挑战，本文提出一种名为CloTH-VTON+的新方法，旨在无缝融合基于图像的深度学习技术与三维模型在形状变形方面的优势。具体而言，我们构建了一个全自动的三维服装模型重建与形变流程，该流程以一个简化体型的参考人体模型为基础：首先，将待试穿服装与参考人体模型上对应的目标服装区域进行匹配；随后，基于该匹配结果重建三维服装模型。所重建的三维服装模型能够实现高度自然的姿态与形状迁移，同时完整保留服装原有的纹理特征。为进一步提升对齐精度，我们引入一个服装精细化网络，用于修正因人体姿态估计误差或三维形变不准确所导致的错位问题。最终，通过条件生成网络将形变后的服装图像进行融合，对遮挡区域进行合理修复与自然融合。在现有基准数据集上的实验结果表明，与当前最先进的VTON系统及原始CloTH-VTON相比，CloTH-VTON+能够生成更高质量的试穿效果。此外，该方法具备良好的可扩展性，可进一步应用于多姿态引导虚拟试穿与视频级虚拟试穿（Video VTON）等延伸应用场景。