摘要

开放生成模型对社区至关重要，它们允许进行微调，并在展示新模型时作为基线。然而，当前大多数文本到音频模型都是私有的，艺术家和研究人员无法在其基础上进行构建。本文描述了一种新的基于知识共享数据训练的开放权重文本到音频模型的架构和训练过程。评估结果显示，该模型在各种指标上的性能与现有最先进模型相当。特别值得一提的是，报告中的FDopenl3结果（用于衡量生成内容的真实性）展示了其在44.1kHz采样率下高质量立体声合成的潜力。