HyperAIHyperAI

Command Palette

Search for a command to run...

MADE:用于分布估计的掩码自动编码器

Mathieu Germain; Karol Gregor; Iain Murray; Hugo Larochelle

摘要

近期,设计神经网络模型以从一组示例中估计分布引起了广泛关注。我们提出了一种简单的自编码器神经网络修改方法,该方法能够生成强大的生成模型。我们的方法通过对自编码器的参数进行掩码处理来遵守自回归约束:每个输入仅根据给定顺序中的先前输入进行重建。在这种约束下,自编码器的输出可以被解释为一系列条件概率,而这些条件概率的乘积则构成了完整的联合概率。此外,我们还可以训练一个单一网络,使其能够在多个不同的顺序中分解联合概率。我们的简单框架可以应用于多种架构,包括深度架构。向量化实现(如在GPU上)既简单又快速。实验表明,这种方法在可追踪分布估计方面与最先进方法具有竞争力。在测试阶段,该方法显著快于其他自回归估计器,并且扩展性更好。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供