
摘要
生成逼真的纹理细节对于合成人物图像的保真度至关重要。然而,现有方法通常采用“基于形变”(warping-based)的策略,即通过与姿态迁移相同的路径传播外观特征。由于下采样过程导致大多数细粒度特征丢失,因而生成的图像往往出现衣物过度平滑、细节缺失等问题。本文提出一种名为RATE-Net的新框架,用于生成具有清晰纹理细节的人物图像。该框架引入一个额外的纹理增强模块,从源图像中提取外观信息,并估计出细粒度的残差纹理图,从而对姿态迁移模块生成的粗略估计结果进行精细化修正。此外,我们设计了一种高效的交替更新策略,促进两个模块之间的相互引导,以实现更优的形状与外观一致性。在DeepFashion基准数据集上的实验结果表明,所提框架在性能上显著优于现有方法。
代码仓库
Lotayou/RATE
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| pose-transfer-on-deep-fashion | RATE | FID: 14.611 IS: 3.125 LPIPS: 0.218 Retrieval Top10 Recall: 30.89 SSIM: 0.774 |