摘要
神经自回归密度估计器（NADE）的训练过程可被视作对数据中缺失值进行一步概率推断。我们提出一种新模型，将这一推断机制扩展至多步，认为学习在 $k$ 步内逐步改进重构结果，相较于在单步推断中直接完成重构，更具可行性。所提出的模型是一种无监督的深度学习基础组件，融合了NADE与多步预测训练的优点：（1）其测试似然值可解析计算；（2）易于从中独立采样；（3）其推断引擎是玻尔兹曼机变分推断的超集。实验表明，所提出的NADE-k模型在两个测试数据集上的密度估计性能已达到当前最先进水平。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-generation-on-binarized-mnist | EoNADE 2hl (128 orders) | nats: 85.10 |