摘要

音乐生成随着深度生成模型的发展而吸引了越来越多的关注。然而，基于文本描述生成音乐（即文本到音乐）仍然具有挑战性，这是由于音乐结构的复杂性和高采样率的要求所致。尽管这一任务具有重要意义，现有的生成模型在音乐质量、计算效率和泛化能力方面仍表现出一定的局限性。本文介绍了一种用于文本到音乐生成的通用高保真模型——JEN-1。JEN-1 是一种结合了自回归和非自回归训练的扩散模型。通过上下文学习，JEN-1 能够执行多种生成任务，包括文本引导的音乐生成、音乐修复和延续。评估结果表明，JEN-1 在文本与音乐对齐和音乐质量方面优于现有最先进方法，同时保持了计算效率。我们的演示可在 https://jenmusic.ai/audio-demos 查看。