摘要

尽管自回归模型在图像生成任务中取得了令人瞩目的成果，但其单向生成机制导致生成的图像难以充分反映全局上下文信息。为解决这一问题，本文提出一种名为“Draft-and-Revise”的有效图像生成框架，并引入上下文感知的RQ-Transformer，以在生成过程中充分考虑全局上下文。作为VQ-VAE的泛化形式，RQ-VAE首先将高分辨率图像表示为一系列离散的代码堆栈（code stacks）。随后，对序列中的部分代码堆栈进行随机掩码处理，并训练上下文感知的RQ-Transformer，使其基于未掩码部分的图像上下文信息，重建被掩码的代码堆栈。在此基础上，RQ-Transformer采用我们提出的两阶段解码策略——“Draft-and-Revise”，在生成图像的同时有效利用图像的全局上下文信息。具体而言，在“草稿阶段”（Draft phase），模型优先生成具有多样性的图像，尽管初始质量相对较低；随后在“修正阶段”（Revise phase），模型通过迭代优化逐步提升图像质量，同时严格保留生成图像的全局结构与上下文一致性。实验结果表明，该方法在条件图像生成任务上达到了当前最优（state-of-the-art）性能。此外，我们进一步验证了“Draft-and-Revise”解码策略能够通过有效调控图像生成中的质量与多样性权衡，实现高性能的图像生成。