3 个月前

StyleFlow 用于内容固定的图像到图像转换

StyleFlow 用于内容固定的图像到图像转换

摘要

图像到图像(Image-to-Image, I2I)翻译是计算机视觉领域的一项具有挑战性任务。我们将该问题划分为三类任务:强约束翻译、常规约束翻译以及弱约束翻译。其中,“约束”指的是原始图像中内容或语义信息的保留程度。尽管现有方法在弱约束任务中已取得良好性能,但在强约束和常规约束任务中(如真实感图像生成、风格迁移、着色等)仍难以充分保留原始内容信息。为实现强约束与常规约束任务中的内容保持性迁移,我们提出了一种新型I2I翻译模型——StyleFlow。该模型结合了归一化流(normalizing flows)结构与一种新颖的风格感知归一化(Style-Aware Normalization, SAN)模块。得益于其可逆网络结构,StyleFlow在前向传播中将输入图像映射至深层特征空间;在反向传播中,通过SAN模块实现固定内容的特征变换,随后将特征重新映射回图像空间。该模型支持图像引导的翻译与多模态生成两种模式。我们在多个I2I翻译基准任务上对所提模型进行了评估,结果表明,与现有方法相比,StyleFlow在强约束和常规约束任务中均展现出显著优势,能够更有效地保持输入图像的内容与语义信息。

代码仓库

weepiess/StyleFlow-Content-Fixed-I2I
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
style-transfer-on-wikiartStyleFlow-Content-Fixed-I2I
SSIM: 0.45

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
StyleFlow 用于内容固定的图像到图像转换 | 论文 | HyperAI超神经