摘要

高维生成模型在图像压缩、多媒体生成、异常检测和数据补全等多个领域具有广泛应用。当前针对自然图像的先进估计方法多采用自回归模型，将像素的联合分布分解为一系列条件概率的乘积，并由深度神经网络（如卷积神经网络）进行参数化，例如PixelCNN。然而，PixelCNN仅能建模联合分布的一种特定分解方式，且仅在单一生成顺序下效率较高。在图像补全等任务中，这类模型难以充分利用已观测到的上下文信息。为实现任意生成顺序下的数据生成，我们提出LMConv：一种对标准二维卷积的简单改进，可在图像每个位置上对权重施加任意掩码。利用LMConv，我们训练了一个共享参数但生成顺序不同的分布估计器集成模型，在整图密度估计任务中取得了优异性能（在无条件CIFAR-10数据集上达到2.89比特/像素），同时实现了全局一致的图像补全效果。相关代码已公开，可访问 https://ajayjain.github.io/lmconv。