3 个月前

四元数生成对抗网络

四元数生成对抗网络

摘要

最新的生成对抗网络(Generative Adversarial Networks, GANs)通过大规模训练取得了卓越的性能,但其通常依赖于包含数百万参数的复杂模型,对计算资源提出了极高要求。构建如此庞大的模型不仅降低了模型的可复现性,还加剧了训练过程中的不稳定性。此外,对于多通道数据(如图像或音频),传统方法通常采用实值卷积网络进行处理,将输入展平并拼接,这一过程往往导致通道内部的空间关联信息丢失。为应对上述复杂性高和信息损失的问题,本文提出了一类基于四元数域(quaternion-valued)的生成对抗网络(Quaternion-valued GANs, QGANs)。QGANs充分利用四元数代数的特性,例如哈密顿乘积(Hamilton product),能够将多通道数据作为一个整体进行处理,有效捕捉通道间的内在潜在关系,同时将模型总参数量减少约四分之三。我们详细阐述了QGANs的设计方法,并进一步将其扩展至先进的网络架构中。在多个图像生成基准测试中,我们将所提出的QGANs与传统的实值GANs进行了对比。实验结果表明,QGANs在FID(Fréchet Inception Distance)指标上优于实值GANs,生成的图像在视觉质量上也更为出色。更重要的是,QGANs在训练参数方面最多可节省75%。我们认为,这些成果为开发新型、更具可及性的GAN模型开辟了新路径,有望在提升性能的同时显著降低计算资源消耗。

代码仓库

eleGAN23/QVAE
pytorch
GitHub 中提及
eleGAN23/QGAN
官方
pytorch
GitHub 中提及
ispamm/hi2i
pytorch
GitHub 中提及

基准测试

基准方法指标
image-generation-on-celeba-hq-128x128QSNGAN
FID: 29.417
IS: 2.249
image-generation-on-cifar-10QSNGAN
FID: 31.966
image-generation-on-oxford-102-flowers-1QSNGAN
FID: 115.838
IS: 3
image-generation-on-stl-10QSNGAN
FID: 59.611
Inception score: 4.987

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
四元数生成对抗网络 | 论文 | HyperAI超神经