摘要

生成对抗网络（Generative Adversarial Network, GAN）已成为经典无监督机器学习中最重要的神经网络模型之一。为训练GAN的判别器，研究者提出了多种判别器损失函数，这些损失函数均具有相同的结构：由仅依赖真实数据的实样本损失与仅依赖生成数据的假样本损失之和构成。然而，当对这两部分损失采用等权重求和时，一个关键挑战在于：训练过程可能使某一损失得到优化，却损害另一损失，本文通过实证表明，这会导致训练不稳定及模式崩溃（mode collapse）问题。为此，本文提出一类全新的判别器损失函数，其采用实样本与假样本损失部分的加权和形式，称之为自适应加权损失函数（adaptive weighted loss, 简称aw-loss）。该方法通过分析实样本与假样本损失部分的梯度信息，动态调整权重，使判别器的训练方向能够有效促进GAN整体的稳定性。本方法适用于任何损失函数可分解为实样本与假样本损失之和的判别器模型。实验结果验证了所提损失函数在无条件图像生成任务中的有效性。在CIFAR-10、STL-10和CIFAR-100数据集上，该方法显著提升了基线模型的性能，Inception Score与FID指标均取得明显改进。