摘要

神经自回归密度估计器（NADE）的训练可以被视为对数据中缺失值进行一步概率推断。我们提出了一种新的模型，该模型将这一推断方案扩展到多步，认为学习在$k$步内逐步改进重建比学习在单次推断步骤中完成重建更为容易。所提出的模型是一种深度学习的无监督构建模块，结合了NADE和多预测训练的优良特性：(1) 其测试似然性可以进行解析计算，(2) 从该模型生成独立样本较为容易，(3) 它使用了一个推理引擎，该引擎是玻尔兹曼机变分推断的一个超集。所提出的NADE-k在两个测试数据集上的密度估计性能与当前最先进的方法相当。