任意分辨率图像生成能够为不同设备提供一致的视觉体验，在生产者与消费者中具有广泛的应用前景。当前的扩散模型在分辨率提升时，计算需求呈平方级增长，导致4K图像生成延迟超过100秒。为解决这一问题，我们探索了基于潜在扩散模型的第二代架构，将扩散模型生成的固定潜在表示视为内容特征，并提出通过一个单步生成器，利用紧凑的生成潜在表示来解码任意分辨率图像。基于此，我们提出了InfGen，用新型生成器替代原有的VAE解码器，实现从固定尺寸潜在表示中生成任意分辨率图像，且无需重新训练扩散模型。该方法简化了生成流程，显著降低了计算复杂度，并可适用于任何共享相同潜在空间的模型。实验表明，InfGen能够将众多现有模型提升至任意高分辨率生成时代，同时将4K图像生成时间缩短至10秒以内。