摘要

本文提出了一种新型生成模型——贝叶斯流网络（Bayesian Flow Networks, BFNs）。在该模型中，一组独立分布的参数通过贝叶斯推断，根据带有噪声的数据样本进行更新，随后作为输入传递至神经网络，生成一个具有依赖关系的第二分布。从一个简单的先验分布出发，通过迭代更新这两个分布，可实现类似于扩散模型逆向过程的生成机制；但其概念更为简洁，无需显式定义前向过程。本文为连续、离散化及离散数据分别推导了连续时间与离散时间的损失函数，并给出了相应的采样生成方法。值得注意的是，针对离散数据的网络输入位于概率单纯形（probability simplex）上，因而天然具备可微性，为基于梯度的样本引导（gradient-based sample guidance）以及在语言建模等离散领域实现少步生成（few-step generation）提供了可能。该损失函数直接优化数据压缩性能，对网络架构不施加任何限制，具有高度的灵活性。在实验中，BFNs在动态二值化的MNIST和CIFAR-10图像建模任务上取得了具有竞争力的对数似然性能，且在text8字符级语言建模任务中显著优于所有已知的离散扩散模型。