摘要

基于Transformer的模型由交替排列的前馈神经网络模块（用于捕捉内容语义）和相对计算成本更高的自注意力模块（用于捕捉上下文语义）构成。本文探讨了这些模块之间的权衡关系及其排列顺序，旨在优化现有Transformer架构，并提出了PAR Transformer模型。该模型通过将约63%的自注意力模块替换为前馈神经网络模块，使得计算时间较Transformer-XL降低了35%，同时在WikiText-103语言建模基准测试中保持了相同的困惑度（perplexity）。此外，我们在text8和enwiki8数据集上进一步验证了该方法的有效性，并将其应用于BERT模型，取得了良好的实验结果。