摘要

近期，设计神经网络模型以从一组示例中估计分布引起了广泛关注。我们提出了一种简单的自编码器神经网络修改方法，该方法能够生成强大的生成模型。我们的方法通过对自编码器的参数进行掩码处理来遵守自回归约束：每个输入仅根据给定顺序中的先前输入进行重建。在这种约束下，自编码器的输出可以被解释为一系列条件概率，而这些条件概率的乘积则构成了完整的联合概率。此外，我们还可以训练一个单一网络，使其能够在多个不同的顺序中分解联合概率。我们的简单框架可以应用于多种架构，包括深度架构。向量化实现（如在GPU上）既简单又快速。实验表明，这种方法在可追踪分布估计方面与最先进方法具有竞争力。在测试阶段，该方法显著快于其他自回归估计器，并且扩展性更好。