摘要

归一化流（Normalizing Flows, NFs）是用于连续输入的基于似然性的模型。它们在密度估计和生成建模任务中展示了令人鼓舞的结果，但在近年来并未受到足够的关注。在这项工作中，我们证明了归一化流比之前认为的更为强大。我们提出了TarFlow：一种简单且可扩展的架构，能够实现高性能的归一化流模型。TarFlow可以被视为Masked Autoregressive Flows（MAFs）的一种基于Transformer的变体，它由图像块上的自回归Transformer块堆叠而成，并在各层之间交替自回归方向。TarFlow可以端到端地进行训练，并能够直接对像素进行建模和生成。此外，我们还提出了三种关键技术来提高样本质量：训练期间的高斯噪声增强、训练后的去噪过程以及有效的引导方法，适用于有类别条件和无条件设置。综合这些技术，TarFlow在图像似然估计方面取得了新的最佳结果，大幅超越了之前的最优方法，并首次以独立的归一化流模型生成了与扩散模型质量相当且多样化的样本。我们的代码已开源，可在https://github.com/apple/ml-tarflow 获取。