摘要

基于能量的模型（Energy-Based Models, EBMs）因其在似然建模方面的通用性与简洁性而备受青睐，但传统上其训练过程一直颇具挑战。本文提出了一系列技术，实现了基于马尔可夫链蒙特卡洛（MCMC）方法的EBM在连续神经网络上的可扩展训练，并在ImageNet 32×32、ImageNet 128×128、CIFAR-10以及机器人手部运动轨迹等高维数据领域取得了成功。所生成的样本质量优于其他似然模型，接近当前先进生成对抗网络（GAN）的性能水平，同时能够覆盖数据分布的所有模式。我们进一步展示了隐式生成（implicit generation）所具备的一些独特能力，包括组合性（compositionality）、损坏图像的重建与修复（inpainting）。最后，我们证明EBM在多种任务中均表现出卓越的实用性，实现了在分布外分类（out-of-distribution classification）、对抗鲁棒分类（adversarially robust classification）、持续在线类别学习（continual online class learning）方面的最先进性能，并能生成具有高度一致性的长期预测轨迹。