摘要

卷积神经网络（CNN）使用扩张滤波器，如Wavenet或时间卷积网络（TCN），在各种序列建模任务中已经展现出良好的效果。然而，高效地建模这些序列中的长程依赖关系仍然具有挑战性。尽管这些模型的接收域随着层数的增加呈指数增长，但在每一层对非常长的特征序列进行卷积计算既耗时又占用大量内存，这在实际应用中限制了较长接收域的使用。为了提高效率，我们利用了“慢特征”假设，即许多感兴趣的特征随时间变化较为缓慢。为此，我们采用了U-Net架构来在多个时间尺度上计算特征，并通过使卷积具有因果性将其适应到自回归场景中。我们将该模型（“Seq-U-Net”）应用于多种任务，包括语言生成和音频生成。与TCN和Wavenet相比，我们的网络在所有任务中均能显著节省内存和计算时间，在音频生成实验中训练和推理速度提高了超过4倍，同时在所有任务中达到了相当的性能水平。