摘要

虽然正态流（normalizing flows）在建模高维连续分布方面取得了显著进展，但它们在离散分布中的应用仍不清楚。本文表明，实际上可以将流扩展到离散事件——并且只需使用一个简单的变量变换公式，而无需进行对数行列式雅可比计算。离散流具有广泛的应用前景。我们考虑了两种流架构：离散自回归流（discrete autoregressive flows），该架构支持双向性，例如，在精确的语言模型中，文本中的标记可以同时依赖于从左到右和从右到左的上下文；以及离散双线性流（discrete bipartite flows），该架构支持高效的非自回归生成，类似于RealNVP。实证结果表明，离散自回归流在合成离散分布、加法任务和Potts模型上优于自回归基线模型；而双线性流在Penn Tree Bank和text8数据集上的字符级语言建模任务中能够取得与自回归基线模型相当的性能。