HyperAIHyperAI

Command Palette

Search for a command to run...

超复数图像到图像的转换

Eleonora Grassucci Luigi Sigillo Aurelio Uncini Danilo Comminiello

摘要

图像到图像翻译(Image-to-Image Translation, I2I)旨在将输入域的内容表征迁移到目标域,实现跨多个目标域的映射。近年来,该任务中涌现出一系列性能卓越的生成式模型,这些模型由多种深度神经网络构成,参数量通常达数千万之巨。此外,图像通常为三维结构,由RGB三个通道组成,而现有的主流神经网络模型往往忽视了通道之间的维度相关性,导致关键信息的丢失。针对上述问题,本文提出利用超复数代数(hypercomplex algebra)的特性,构建轻量级的I2I生成模型,以有效保留图像各维度之间的已有关联关系,从而充分利用额外的输入信息。在多个主流I2I基准测试中,我们验证了所提出的四元数StarGANv2(Quaternion StarGANv2)以及参数化超复数StarGANv2(PHStarGANv2)在显著减少模型参数量与存储内存占用的同时,仍能保持优异的域间转换性能,并在FID与LPIPS等指标上实现高质量的生成图像。完整代码已开源,地址为:https://github.com/ispamm/HI2I


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供