3 个月前

VITON-HD:通过错位感知归一化实现高分辨率虚拟试穿

VITON-HD:通过错位感知归一化实现高分辨率虚拟试穿

摘要

基于图像的虚拟试穿任务旨在将目标服装精准地映射至人物对应的身体区域,通常通过将服装拟合至目标身体部位,并将形变后的服装与人物图像进行融合来实现。尽管近年来相关研究不断增多,但现有方法生成图像的分辨率仍普遍受限于较低水平(如256×192),这一瓶颈严重制约了其在在线消费场景中的应用体验。我们认为,该局限性主要源于以下几个挑战:随着图像分辨率的提升,形变服装与目标身体区域之间存在的错位区域所产生的伪影在最终结果中愈发明显;同时,现有方法所采用的网络架构在生成高质量人体部位以及保持服装纹理清晰度方面表现不足。为应对上述挑战,本文提出一种新型虚拟试穿方法——VITON-HD,可成功合成分辨率为1024×768的高质量虚拟试穿图像。具体而言,我们首先构建语义分割图以指导试穿合成过程,随后将目标服装粗略地拟合至给定人物的身体轮廓。在此基础上,我们设计了对齐感知分割归一化(ALIgnment-Aware Segment, ALIAS)机制与对应的ALIAS生成器,有效处理错位区域,同时充分保留1024×768高分辨率输入中的细节信息。通过与现有方法进行严谨的定性与定量对比,实验结果表明,VITON-HD在合成图像质量方面显著优于各类基线方法。相关代码已开源,地址为:https://github.com/shadow2496/VITON-HD。

代码仓库

shadow2496/VITON-HD
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
virtual-try-on-on-viton-hdVITON-HD
FID: 11.74

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
VITON-HD:通过错位感知归一化实现高分辨率虚拟试穿 | 论文 | HyperAI超神经