摘要

基于流的生成模型通过可逆变换参数化概率分布，并可以通过最大似然方法进行训练。可逆残差网络提供了一类灵活的变换，其中只需满足Lipschitz条件而非严格的架构约束即可保证可逆性。然而，先前的研究在使用可逆残差网络进行密度估计时依赖于有偏的对数密度估计，这些估计的偏差随着网络表达能力的增强而增加。我们提出了一种利用“俄罗斯轮盘”估计器的对数密度无偏估计方法，并通过使用替代的无穷级数来计算梯度，从而减少了训练过程中所需的内存。此外，我们通过引入避免导数饱和的激活函数以及将Lipschitz条件推广到诱导混合范数，改进了可逆残差块。所提出的这种方法称为残差流（Residual Flows），在基于流的模型中实现了最先进的密度估计性能，并且在联合生成和判别建模方面优于使用耦合块的网络。