摘要

Transformer模型在众多自然语言处理（NLP）任务中显著推动了技术前沿的发展。本文提出一种新型Transformer架构——扩展Transformer构建（Extended Transformer Construction, ETC），旨在解决标准Transformer架构面临的两个关键挑战：输入序列长度的扩展性以及结构化输入的编码能力。为实现对更长输入序列的注意力机制扩展，我们引入了一种新颖的全局-局部注意力机制，该机制在全局标记（global tokens）与常规输入标记之间建立关联。此外，我们证明将全局-局部注意力机制与相对位置编码相结合，并采用对比预测编码（Contrastive Predictive Coding, CPC）作为预训练目标，可使ETC模型有效编码结构化输入。在四个需要处理长序列和/或结构化输入的自然语言数据集上，我们的方法均取得了当前最优的性能表现。