摘要

我们提出了一种通过结合简单的构建模块和一组新颖的组合规则来构建可逆神经网络的新方法。这导致了一系列丰富的可逆架构，包括类似于残差网络（ResNets）的架构。反演是通过一种局部收敛的迭代过程实现的，该过程可以并行化且在实际应用中非常快速。此外，雅可比矩阵的行列式可以高效地进行解析计算，从而使得这些网络可以用作生成模型中的流模型。为了展示其灵活性，我们证明了我们的可逆神经网络在MNIST和CIFAR-10分类任务上具有与残差网络（ResNets）相当的竞争力。当作为生成模型进行训练时，我们的可逆网络在MNIST、CIFAR-10和ImageNet 32x32数据集上分别达到了每维度0.98、3.32和4.06比特的竞争性对数似然值。