3 个月前

基于MMD神经架构搜索、PMish激活函数与自适应秩分解的GAN性能增强

基于MMD神经架构搜索、PMish激活函数与自适应秩分解的GAN性能增强

摘要

生成对抗网络(Generative Adversarial Networks, GANs)因其能够从指定数据分布中生成高质量、逼真图像的能力而受到广泛关注。本研究在GANs领域提出多项创新改进,包括设计一种新型激活函数、提出一种新颖的训练策略,以及引入一种自适应秩分解方法以实现网络压缩。所提出的激活函数名为参数化Mish(Parametric Mish, PMish),可通过可训练参数自动调节激活函数的平滑度与形状,从而提升模型表达能力。本方法结合神经架构搜索(Neural Architecture Search, NAS)技术,自动发现适用于图像生成任务的最优网络结构,并采用最大均值差异(Maximum Mean Discrepancy, MMD)排斥损失函数进行对抗训练。所提出的新型训练策略通过逐步提升有界MMD-GAN排斥损失的上界,有效增强模型训练稳定性与生成性能。此外,所提出的自适应秩分解(Adaptive Rank Decomposition, ARD)方法在显著降低网络复杂度的同时,对生成性能的影响极小,从而实现了在资源受限平台上的高效部署。上述各项改进在CIFAR-10、CIFAR-100、STL-10和CelebA等标准基准数据集上进行了严格验证,实验结果表明,所提方法在生成质量与训练效率方面均显著优于现有技术。相关实现代码已公开,可访问:https://github.com/PrasannaPulakurthi/MMD-PMish-NAS

基准测试

基准方法指标
image-generation-on-celeba-64x64MMD-PMish-NAS
FID: 1.92
Model Size (MB): 6.67
image-generation-on-celeba-64x64MMD-PMish-NAS (Compressed)
FID: 2.03
Model Size (MB): 3.04
image-generation-on-cifar-100MMD-PMish-NAS
FID: 7.68
Inception Score: 10.68
Model Size (MB): 17.9
image-generation-on-cifar-100MMD-PMish-NAS (Compressed)
FID: 8.37
Inception Score: 10.34
Model Size (MB): 2.3
image-generation-on-stl-10MMD-PMish-NAS
FID: 11.61
Inception score: 11.79
Model Size (MB): 19.47
image-generation-on-stl-10MMD-PMish-NAS (Compressed)
FID: 13.07
Inception score: 11.85
Model Size (MB): 2.78

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于MMD神经架构搜索、PMish激活函数与自适应秩分解的GAN性能增强 | 论文 | HyperAI超神经