摘要

Transformer是一种基于注意力机制的神经网络，由两个子层构成：自注意力网络（Self-Attention Network, SAN）和前馈网络（Feed-Forward Network, FFN）。现有研究通常分别对这两个子层进行优化，以提升Transformer在文本表示学习方面的性能。本文提出了一种对SAN和FFN的全新理解：它们均可视为掩码注意力网络（Mask Attention Networks, MANs）的特例，且对应于使用静态掩码矩阵的MANs。然而，其静态掩码矩阵在建模文本局部性（localness）方面存在局限性。为此，本文提出一种新型网络层——动态掩码注意力网络（Dynamic Mask Attention Network, DMAN），该层采用可学习的掩码矩阵，能够自适应地捕捉文本中的局部依赖关系。为进一步融合DMAN、SAN与FFN的优势，我们设计了一种序列化层结构，将这三类网络层有机结合。在神经机器翻译与文本摘要等多个任务上的大量实验结果表明，所提出的模型在性能上显著优于原始的Transformer架构。