3 个月前

分析与提升StyleGAN的图像质量

分析与提升StyleGAN的图像质量

摘要

基于风格的生成对抗网络架构(StyleGAN)在数据驱动的无条件图像生成建模任务中取得了当前最先进的性能。本文揭示并分析了该架构中存在的若干典型伪影(artifacts),并提出了在模型架构与训练方法上的改进方案以解决这些问题。具体而言,我们重新设计了生成器的归一化机制,重新审视了渐进式生长策略,并对生成器引入正则化项,以促进从潜在编码到图像映射过程中的良好条件性(well-conditioning)。除了显著提升图像质量外,该路径长度正则化(path length regularizer)还带来了额外优势:生成器的可逆性大幅增强,使得能够可靠地将生成图像回溯至其对应的网络潜在表示。这为生成图像的可追溯性与可解释性提供了保障。此外,我们进一步可视化了生成器在不同输出分辨率下的利用效率,发现存在容量瓶颈,从而促使我们训练更大规模的模型以实现进一步的性能提升。总体而言,我们所提出的改进模型在无条件图像建模任务中重新定义了当前的技术前沿,不仅在现有分布质量评估指标上表现优异,同时在人类感知的图像质量方面也实现了显著提升。

代码仓库

dkn16/stylegan2-pytorch
pytorch
GitHub 中提及
EmptySamurai/pytorch-reconet
pytorch
GitHub 中提及
tr1pzz/stylegan2-pytorch
pytorch
GitHub 中提及
phymhan/stylegan2-pytorch
pytorch
GitHub 中提及
RyanWu2233/Style_GAN2_FFHQ
tf
GitHub 中提及
NariMo91/GANs-generative-art
pytorch
GitHub 中提及
autonomousvision/frequency_bias
pytorch
GitHub 中提及
chenqiguo/gan_replication
pytorch
GitHub 中提及
HighCWu/stylegan2-paddle
pytorch
GitHub 中提及
Uemuet/imet
tf
GitHub 中提及
DaVran369/face
tf
GitHub 中提及
Uemuet/-gan
tf
GitHub 中提及
rosinality/stylegan2-pytorch
pytorch
GitHub 中提及
philcryer/randota
GitHub 中提及
NVlabs/stylegan2
官方
tf
GitHub 中提及
aydao/stylegan2-surgery
tf
GitHub 中提及
lucidrains/stylegan2-pytorch
pytorch
GitHub 中提及
Ajasra/tattoo
tf
GitHub 中提及
cto300/stylegan2
tf
GitHub 中提及
erikakaeri/asdf
tf
GitHub 中提及
Bakikii/stylegan2-pytorch23
pytorch
GitHub 中提及
Ajasra/TattooStyleGAN2
tf
GitHub 中提及
cwvisuals/StyleGAN2
pytorch
GitHub 中提及
a-mcego/stylegannish
tf
GitHub 中提及
luckyfarnon/StyleGAN22
tf
GitHub 中提及
mmetaa/stylegan2
tf
GitHub 中提及
dzld00/pytorch-manifold-matching
pytorch
GitHub 中提及
jdbugs/stylegan2
tf
GitHub 中提及
bgtripp/stylegan2glacier
tf
GitHub 中提及
Uemuet/stylegan22
tf
GitHub 中提及
SiavashCS/sgan_simple
pytorch
GitHub 中提及
sahidrahmanxx12/TEMPEK
tf
GitHub 中提及
jimzers/stylegan2-colabs
GitHub 中提及
Ajasra/stylegan2
tf
GitHub 中提及
erikakaeri/StyleGAN2
tf
GitHub 中提及
RuiLiFeng/noise
tf
GitHub 中提及
Bakikii/stylegan2
tf
GitHub 中提及
RuiLiFeng/LAE
tf
GitHub 中提及
Kate589/gan
tf
GitHub 中提及
yangyucheng000/StyleGAN-V2
mindspore
GitHub 中提及
armaank/archlectures
pytorch
GitHub 中提及
hanehein921/StyleGAN2
tf
GitHub 中提及
thomaspool97/StyleGAN2
tf
GitHub 中提及
yyusuf3d/StyleGAN2
tf
GitHub 中提及
spacegoing/stylegan2
tf
GitHub 中提及
jdbugs/stylegan2encoder
tf
GitHub 中提及
mbbrodie/stylegan2
pytorch
GitHub 中提及
safi842/Microstructure-GAN
pytorch
GitHub 中提及
nekitmm/StyleGan2
tf
GitHub 中提及
tjwei/stylegan2_workshop
tf
GitHub 中提及
XieBaoshi/stylegan2
pytorch
GitHub 中提及
e4s2022/e4s
pytorch
GitHub 中提及
alekseynp/stylegan2-pytorch
pytorch
GitHub 中提及
RuiLiFeng/invGAN
tf
GitHub 中提及
Uemuet/stylegan2
tf
GitHub 中提及
amberkboulton/StyleGAN3
tf
GitHub 中提及
xunings/styleganime2
tf
GitHub 中提及
sidward14/gan-lab
pytorch
GitHub 中提及
Nirav-Agarwal/GANs
pytorch
GitHub 中提及
kh12lee/kh_lee
pytorch
GitHub 中提及
ohomburg/stylegan
tf
GitHub 中提及
cwvisuals/FleshDigressions
tf
GitHub 中提及
JCBrouwer/maua-stylegan2
pytorch
GitHub 中提及
benguk46/StyleGAN2
tf
GitHub 中提及
jazzup6176/StyleGAN1
tf
GitHub 中提及
babyboy201/StyleGAN2
tf
GitHub 中提及
thwin0923/kjhij
tf
GitHub 中提及
Error-code404/Random-Unreal-Face
pytorch
GitHub 中提及
minyoungg/pix2latent
pytorch
GitHub 中提及
lucasgb98/StyleGAN2
tf
GitHub 中提及
tomguluson92/StyleGAN2_PyTorch
pytorch
GitHub 中提及
Uemuet/gan2
tf
GitHub 中提及
akashgit/stylegan2_wt
pytorch
GitHub 中提及
rolux/stylegan2tpu
tf
GitHub 中提及
mahbouldom/StyleGAN2
tf
GitHub 中提及
kunheek/style-aware-discriminator
pytorch
GitHub 中提及
RyanWu2233/Style_GAN2_TWDNE
tf
GitHub 中提及
cyrilzakka/stylegan2-tpu
tf
GitHub 中提及
eps696/stylegan2
tf
GitHub 中提及
grunnery/StyleGAN2
tf
GitHub 中提及
adelliax/StyleGAN2
tf
GitHub 中提及
b4nn3d/stylegan2
tf
GitHub 中提及
Di-Is/stylegan2-ada-pytorch
pytorch
GitHub 中提及
cffo/stylegan2-encoder
tf
GitHub 中提及
rolux/stylegan2encoder
tf
GitHub 中提及
b4nn3d/stylegan2encoder
tf
GitHub 中提及
simplerick/stylegan2_pytorch
pytorch
GitHub 中提及
hussain18804/toonify-poc
tf
GitHub 中提及
Heliang-Zheng/Style2
tf
GitHub 中提及
huangzh13/StyleGAN2.pytorch
pytorch
GitHub 中提及
hiroyasuakada/StyleGAN2-PyTorch
pytorch
GitHub 中提及
yuzq97/starter_project
tf
GitHub 中提及
cbritom/GAN
tf
GitHub 中提及
Herge/GAN2
tf
GitHub 中提及
woctezuma/steam-stylegan2-ada
pytorch
GitHub 中提及
Uemuet/imet2
tf
GitHub 中提及
xx88xx/stylegan2ky
tf
GitHub 中提及
gori1x62/StyleGAN2
tf
GitHub 中提及
tompaperspaceio/stylegan3
tf
GitHub 中提及

基准测试

基准方法指标
conditional-image-generation-on-artbench-10StyleGAN2
FID: 4.491
image-generation-on-ffhqStyleGAN2
Clean-FID (70k): 2.98
FID: 2.84
image-generation-on-ffhq-1024-x-1024StyleGAN2
FID: 2.84
image-generation-on-lsun-car-256-x-256StyleGAN2
FID: 2.32
image-generation-on-lsun-car-512-x-384StyleGAN2
FID: 2.32
image-generation-on-lsun-cat-256-x-256StyleGAN2
Clean-FID (trainfull): 6.97 ± 0.16
FID: 6.93
image-generation-on-lsun-churches-256-x-256StyleGAN2
Clean-FID (trainfull): 4.28 ± 0.03
FID: 3.86
image-generation-on-lsun-horse-256-x-256StyleGAN2
Clean-FID (trainfull): 4.06 ± 0.03
FID: 3.43

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
分析与提升StyleGAN的图像质量 | 论文 | HyperAI超神经