摘要

图像到图像翻译（Image-to-Image Translation, I2I）旨在将输入域的内容表征迁移到目标域，实现跨多个目标域的映射。近年来，该任务中涌现出一系列性能卓越的生成式模型，这些模型由多种深度神经网络构成，参数量通常达数千万之巨。此外，图像通常为三维结构，由RGB三个通道组成，而现有的主流神经网络模型往往忽视了通道之间的维度相关性，导致关键信息的丢失。针对上述问题，本文提出利用超复数代数（hypercomplex algebra）的特性，构建轻量级的I2I生成模型，以有效保留图像各维度之间的已有关联关系，从而充分利用额外的输入信息。在多个主流I2I基准测试中，我们验证了所提出的四元数StarGANv2（Quaternion StarGANv2）以及参数化超复数StarGANv2（PHStarGANv2）在显著减少模型参数量与存储内存占用的同时，仍能保持优异的域间转换性能，并在FID与LPIPS等指标上实现高质量的生成图像。完整代码已开源，地址为：https://github.com/ispamm/HI2I。