摘要

准确捕捉序列输入（包括文本、音频和基因组数据）中的长程依赖关系，是深度学习领域的一个关键问题。前馈卷积模型仅能捕获有限感受野内的特征交互，而循环神经网络架构则因梯度消失问题，往往训练缓慢且难以收敛。为此，我们提出了一种新型网络组件——时序特征自适应线性调制（Temporal Feature-Wise Linear Modulation, TFiLM），该方法受自适应批归一化（adaptive batch normalization）及其扩展方法的启发，利用循环神经网络动态调节卷积模型的激活值。该机制在几乎不增加计算开销的前提下，显著扩展了卷积序列模型的感受野。实验结果表明，TFiLM在多种生成式与判别式学习任务中，显著提升了前馈神经网络的学习速度与模型精度，涵盖文本分类与音频超分辨率等任务。