摘要

近年来，生成建模技术的进展显著提升了从多种表征中重建音频波形的能力。尽管扩散模型在该任务中表现出色，但其在单个采样点层面进行运算，并需经历大量采样步骤，导致延迟较高。在本研究中，我们提出了一种前沿的多频带修正流（Rectified Flow）方法——RFWave，用于从梅尔频谱图（Mel-spectrograms）或离散声学标记（discrete acoustic tokens）中重建高保真音频波形。RFWave创新性地在帧级别生成复杂频谱图，同时并行处理所有子频带，从而大幅提升生成效率。得益于修正流所追求的直线传输路径特性，RFWave仅需10次采样步骤即可完成高质量重建。实验结果表明，RFWave不仅在重建质量上表现卓越，而且在计算效率方面具有显著优势，能够在GPU上实现最高达实时速度160倍的音频生成速度。在线演示地址为：https://rfwave-demo.github.io/rfwave/。