Command Palette
Search for a command to run...
多分辨率流匹配:通过分阶段采样实现无需训练的扩散加速
多分辨率流匹配:通过分阶段采样实现无需训练的扩散加速
Xingyu Zheng Xianglong Liu Yifu Ding Weilun Feng Junqing Lin Jinyang Guo Haotong Qin
摘要
硬件无关的文本到图像扩散加速策略(如时间步蒸馏和特征缓存)无需定制内核或系统级优化即可减少推理时间。其中,多分辨率生成策略近年来受到广泛关注,可在无任何训练的情况下实现超过5倍的加速。然而,在潜在空间中执行上采样并结合局部区域选择性修改的设计,导致这些方法出现明显的模糊或伪影。为此,我们提出MrFlow,一种基于分阶段低到高分辨率管线的无需训练多分辨率加速策略,适用于预训练流匹配模型。MrFlow首先在低分辨率下快速生成主要结构,然后使用轻量级预训练GAN模型在像素空间进行超分辨率处理,随后注入低强度噪声以启用高频重采样,最后在高分辨率下细化细节。在FLUX.1-dev和Qwen-Image上的定量与定性结果表明,MrFlow利用低分辨率采样的二次令牌减少和步数需求降低,实现了10倍端到端加速,同时OneIG与加速前相比差距保持在1%以内,显著超越其他无需训练的加速策略,且完全不需要训练或运行时动态识别。MrFlow还可直接与预训练时间步蒸馏策略正交结合,实现高达25倍的更大生成加速。
一句话总结
北京航空航天大学、南洋理工大学和中国科学院等机构提出 MrFlow,一种面向预训练流匹配模型的免训练多分辨率加速策略,先在低分辨率下生成主体结构,再通过轻量级 GAN 进行像素空间超分,注入低强度噪声以重采样高频信息,最后在高分辨率下细化细节;在 FLUX.1-dev 和 Qwen-Image 上评估,MrFlow 实现 10× 的端到端加速,且 OneIG 差距相对于未加速采样控制在 <1%,当与时间步蒸馏结合时,最高可达到 25× 的加速,显著优于现有的免训练方法。
核心贡献
- MrFlow 是一种面向预训练流匹配模型的免训练多分辨率加速流水线,在低分辨率下生成图像结构,通过基于轻量级 GAN 的超分模型在像素空间中上采样,注入低强度噪声,并执行一次高分辨率细化步骤。
- 在 FLUX.1-dev 和 Qwen-Image 上,MrFlow 实现了超过 10× 的端到端加速,同时 OneIG-Bench 损失保持在原生推理的 1% 以内,无需任何训练或运行时动态统计量,优于其他免训练加速策略。
- 该方法可灵活配置速度与质量之间的权衡,并能直接与预训练时间步蒸馏模型结合,在不增加额外训练的情况下,获得正交叠加的加速效果,最高可达 25×。
引言
基于 Transformer 和流匹配的现代扩散模型已成为高质量图像生成的标准,但高质量伴随着高昂的计算开销。例如,一个顶尖的 200 亿参数模型在 NVIDIA A100 上生成一张 1024×1024 图像可能需要 47 秒。研究人员已探索多种加速策略:时间步蒸馏将采样步数压缩至 1–4 步,但需要昂贵的模型重训练;特征缓存和 token 剪枝提供免训练加速,但很少超过 4×。利用空间冗余的免训练多分辨率方法可以超越 5× 加速,但它们通常依赖运行时动态识别图像区域,且直接在隐空间中进行上采样往往带来模糊或伪影。作者利用这一多分辨率思路,并针对其不足提出 MrFlow,一种免训练的分阶段流水线:首先在隐空间中低分辨率下生成图像的粗结构,然后使用像素空间中的轻量级 GAN 超分网络进行上采样并保留结构,施加低强度噪声以抑制错误的高频细节,最后通过快速、少步的高分辨率采样对结果进行细化。该设计利用了结构在低分辨率下快速出现以及流轨迹在干净图像附近更笔直的特性,从而实现超过 10× 的总加速,同时将生成质量保持在原生推理的 1% 以内。MrFlow 无需训练、无需动态统计量,可直接与现有时间步蒸馏模型结合,达到超过 25× 的复合加速。
方法
作者提出 MrFlow,一种多分辨率生成流水线,通过将全局结构生成与细节细化解耦来加速文本到图像扩散过程。其核心洞察是:低分辨率阶段决定图像的整体布局和语义构成,而高分辨率阶段只需调整继承自中间超分步骤的局部高频细节。通过将主要计算放在低分辨率,并将高分辨率阶段限制为一次带有极小噪声的去噪步骤,MrFlow 在几乎不损失输出质量的情况下实现了大幅加速。
该流水线包含五个顺序阶段:低分辨率隐空间采样、VAE 解码、像素空间超分、VAE 编码并注入低强度噪声,以及最后的高分辨率隐空间采样和 VAE 解码。
低分辨率结构生成。 初始阶段在降低的空间尺寸下生成干净隐变量。从高斯噪声 z1LR∈RC×HL×WL 开始,使用预训练流匹配速度网络 vθ 进行 KL 步 Euler 离散化求解 rectified flow ODE,得到 z0LR=Φvθ,cKL(z1LR),其中 c 为文本条件嵌入。默认设 KL=12。通过预训练 VAE 解码得到低分辨率像素空间图像 xLR。该阶段已完整捕获提示中的全局结构和语义内容,仅有低分辨率渲染常见的柔和感。
该阶段的效率得益于两个因素。第一,推理成本大约与图像 token 数量成线性关系,将每个空间维度减半即可使每步加速约 4×。第二,低分辨率生成需要的采样步数更少,这既缘于低分辨率下更高的文本到图像语义利用率,也源于对应低频骨架的更短 ODE 路径。
像素空间超分。 低分辨率图像在像素域通过预训练的 Real-ESRGAN 网络进行上采样:xSR=U(xLR)。这个基于 GAN 的超分器在注入合理高频细节的同时忠实地保留了全局布局。选择像素空间操作是有意为之:边缘和纹理的自然图像先验存在于像素中,而随后的 VAE 重新编码则充当轻量级正则器,衰减分布外高频伪影。选择 GAN 而非插值或回归方法,是因为其输出更锐利,且仅包含适合下游细化的局部高频残差;相比之下,插值类方法将需要更强的噪声来克服持续模糊,进而削弱流水线的速度优势。
低强度噪声用于高频重采样。 超分图像被重新编码到高分辨率隐空间 z0SR=E(xSR)。此时,隐变量可能包含 GAN 引入的微小高频伪影,如字符笔画偏移。为了在保留低频结构的同时纠正这些伪影,注入少量流匹配噪声:ztHR=(1−σt)z0SR+σtϵ,其中 σt∈[0.1,0.15]。噪声水平的选择确保低频段的信噪比保持较高,而高频段的 SNR 被降低到足以使后续去噪步骤根据流先验进行重采样。根据干净隐变量的高频功率 λhf 推导出理论下界 σt⋆=1+λhfλhf,证实当超分残差误差主要为高频成分时,典型的 σt 值已足够。这一洞见消除了需要大强度噪声的需求,从而避免抹去有用的超分细节并避免需要多次细化步骤。
高分辨率细节细化。 注入噪声后的高分辨率隐变量 ztHR 通过同一速度网络以 KH 步 Euler 进行去噪:z0HR=Φvθ,cKH(ztHR)。默认 KH=1。由于带噪隐变量已经非常接近干净流形,在该点附近速度场幅度基本平坦,因此单步离散化非常精确。最终图像 xHR=D(z0HR) 保留了低分辨率阶段建立的全局结构,同时纠正了 GAN 的高频伪影。整个流水线仅用总共 12 步低分辨率采样、一次噪声注入和一步高分辨率采样,即可在目标分辨率下输出高保真结果,延迟相比直接高分辨率生成减少一半以上,而视觉质量相当。
实验
在 FLUX.1-dev 和 Qwen-Image-20B(1024×1024 分辨率)上进行的评估,将 MrFlow 与免训练和需训练的加速方法进行比较。在 8× 到 10× 的激进加速条件下,当特征缓存和其他多分辨率方法失效时,MrFlow 仍保持图像质量,只需单步高分辨率去噪完成细节细化。消融实验证实,更多低分辨率步数可改善指标,而一步细化即已足够,且 Real-ESRGAN 提供最佳视觉保真度。MrFlow 的准确度与需训练的蒸馏方法相当,并可与蒸馏模型协同工作,在不添加额外训练的情况下实现最高 25× 的加速。
在 FLUX.1-dev 上的免训练加速方法中,token 剪枝(ToMA)加速几乎可忽略且尽管自动指标稳定,图像质量却无声崩塌。Teacache 和 DB-Taylor 等方法在 Geneval 和 DPG 仅轻微下降的情况下实现约 4.5× 加速,而进一步由 RALU 和 SPEED 带来的加速则伴随更大的指标下降,清晰呈现效率与保真度之间的张力。ToMA 最多仅获得 1.13× 加速,其 OneIG-En 得分从 0.44 骤降至 0.21,反映 Geneval 未能捕捉到的严重图像崩塌。Teacache 和 DB-Taylor 提供了接近 4.5× 的加速,同时 Geneval 得分与基线差距在 0.03 以内,DPG 高于 82.6,展现有利的质量与速度权衡。
在 FLUX.1-dev 上,免训练的 MrFlow(12+1 步)达到 8.25× 加速,同时质量与需训练的 4 步 SenseFlow 方法接近。当与 Pi-Flow 蒸馏模型结合(仅 4+1 步),MrFlow† 实现 11.3× 加速,在加速比和 Geneval 得分上均超越独立的 Pi-Flow。需训练的 LSSGen 方法在 3.93× 加速时尽管自动指标得分相似,生成质量却明显崩塌。MrFlow(12+1 步)在无需训练的条件下取得 8.25× 加速,Geneval 得分可与 4 步 SenseFlow 相当。MrFlow†(4+1 步,重用预训练蒸馏权重)提供更高的 11.3× 加速,在加速比和 Geneval 上均超越原生 Pi-Flow(4 步)。LSSGen 在 3.93× 加速下指标退化很小,但根据论文,生成图像严重崩塌。Pi-Flow 在所有方法中保持最佳 DPG 和 OneIG-En 得分,而 MrFlow† 取得最高 Geneval 和最快加速。
在 Qwen-Image 的 1024×1024 分辨率下,插值、SwinIR、OSEDiff 和 Real-ESRGAN 的自动指标差异很小,但视觉质量存在明显排序:插值和 SwinIR 保持模糊,OSEDiff 引入字符伪影,而基于 GAN 的 Real-ESRGAN 在锐度、语义准确度和效率之间达到最佳平衡。使用 12+2 步配置的加速版 Real-ESRGAN 达到 14× 加速,指标得分与 12+1 步设置相当甚至更优。所有评估的超分方法在 Geneval、DPG 和 OneIG-Bench 上的得分紧密聚集。Real-ESRGAN 在 12+2 步配置下实现 14× 加速,Geneval 为 0.87,且 DPG 略高于其 12+1 步版本。插值和 SwinIR 产生模糊放大结果,而 OSEDiff 产生字符不准确;Real-ESRGAN 在清晰度和语义保真度上达到最佳平衡。
评估首先考察 FLUX.1‑dev 上的免训练加速,其中缓存技术如 Teacache 和 DB-Taylor 在保持图像质量的前提下实现约 4.5× 加速,而 token 剪枝加速轻微且导致自动指标未能反映的严重视觉崩塌。后续实验显示,免训练的 MrFlow 达到 8.25× 加速,当与蒸馏模型集成时可达到 11.3× 加速并获得最高 Geneval 得分,甚至超越部分需训练的方法。最后,在 Qwen‑Image 上的超分基准测试表明,尽管指标得分相似,插值和 SwinIR 依然模糊,基于扩散的方法会引入伪影,而加速版基于 GAN 的 Real‑ESRGAN 以 14× 的加速实现锐度、语义准确度和效率的最佳平衡。