3 个月前

EAGAN:面向生成对抗网络的高效两阶段进化架构搜索

EAGAN:面向生成对抗网络的高效两阶段进化架构搜索

摘要

生成对抗网络(GANs)在图像生成任务中已展现出卓越性能。然而,GAN的训练过程本质上具有不稳定性。尽管已有大量研究通过人工调整GAN架构来尝试提升其稳定性,但这一过程高度依赖专家经验。神经架构搜索(Neural Architecture Search, NAS)为自动搜索GAN架构提供了一种极具吸引力的解决方案。早期的NAS-GAN方法仅搜索生成器(Generator, G),以降低搜索复杂度,但由此导致的架构往往并非最优。近期一些工作尝试同时搜索生成器(G)和判别器(D),但其性能仍受限于GAN训练本身的不稳定性。为缓解这一问题,本文提出一种基于高效两阶段进化算法的NAS框架——EAGAN(Evolutionary Architecture Search for GANs)。该方法将G与D的搜索过程解耦为两个阶段:第一阶段在固定判别器(D)的前提下搜索最优生成器(G),并采用“多对一”训练策略;第二阶段则基于第一阶段获得的最优生成器(G),搜索最优判别器(D),并引入“一对一”训练策略与权重重置(weight-resetting)机制,以显著增强GAN训练的稳定性。两个阶段均采用非支配排序(non-dominated sorting)方法,在多个目标(如模型规模、Inception Score(IS)和Fréchet Inception Distance(FID))的协同优化下,生成帕累托前沿(Pareto-front)架构。EAGAN被应用于无条件图像生成任务,在CIFAR-10数据集上仅需1.2个GPU天即可完成高效搜索。所搜索得到的GAN模型在CIFAR-10上取得了具有竞争力的性能(IS = 8.81 ± 0.10,FID = 9.91),并在STL-10数据集上超越了先前的NAS-GAN方法(IS = 10.44 ± 0.087,FID = 22.18)。项目源代码已公开:https://github.com/marsggbo/EAGAN。

代码仓库

marsggbo/EAGAN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-generation-on-cifar-10EAGAN (G)
FID: 10.14
image-generation-on-cifar-10EAGAN (G+D)
FID: 9.91
image-generation-on-stl-10EAGAN (G)
FID: 23.34
Inception score: 10.02
image-generation-on-stl-10EAGAN (G+D)
FID: 22.18
Inception score: 10.44

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
EAGAN:面向生成对抗网络的高效两阶段进化架构搜索 | 论文 | HyperAI超神经