3 个月前

全范围的虚拟试穿:基于循环三层次变换

全范围的虚拟试穿:基于循环三层次变换

摘要

虚拟试衣旨在将目标服装图像无缝迁移至参考人物身上。尽管已有诸多进展,现有方法的功能范围仍主要局限于标准服装(如无复杂装饰、无破洞效果的普通衬衫),而对非标准服装(如露肩衬衫、文字肩连衣裙等)所呈现的丰富复杂性与多样性则普遍忽视。为此,本文提出一种系统性框架——循环三层次变换(Recurrent Tri-Level Transform, RT-VTON),可实现对标准与非标准服装的全范围虚拟试衣。本框架的设计基于两项关键洞察:(1)语义迁移需在服装表征的三个不同层次——服装编码、姿态编码与分割编码——上实现渐进式的特征变换;(2)几何迁移需在刚性与柔性之间实现受约束的图像形变。首先,我们通过局部门控注意力机制与非局部对应学习,递归地优化三层次特征编码,以预测“试穿后”人物的语义信息;其次,设计一种半刚性形变机制,用于对齐服装图像与预测的语义结构,同时保持局部形变的一致性;最后,通过一个标准试衣合成器融合所有处理后的信息,生成最终的着装人物图像。在主流基准数据集上的大量实验以及用户评估结果表明,本框架在定量与定性指标上均达到当前最优性能。尤为突出的是,RT-VTON在多种非标准服装上均展现出卓越的生成效果,显著拓展了虚拟试衣的应用边界。

基准测试

基准方法指标
virtual-try-on-on-vitonRT-VTON
FID: 11.66

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
全范围的虚拟试穿:基于循环三层次变换 | 论文 | HyperAI超神经