摘要

学习能够准确捕捉序列输入（包括文本、音频和基因组数据）中长距离依赖关系的表示是深度学习中的一个关键问题。前馈卷积模型仅能捕捉有限感受野内的特征交互，而递归架构由于梯度消失问题可能导致训练速度缓慢且难以训练。在此，我们提出了一种新的架构组件——时间特征级线性调制（Temporal Feature-Wise Linear Modulation, TFiLM），该组件受到自适应批归一化及其扩展的启发，利用递归神经网络来改变卷积模型的激活状态。这种方法在几乎不增加计算开销的情况下扩展了卷积序列模型的感受野。实证研究表明，TFiLM显著提高了前馈神经网络在一系列生成性和判别性学习任务上的学习速度和准确性，包括文本分类和音频超分辨率。