摘要
训练基于内存的变压器模型通常需要大量的内存，并且效率较低。我们提出了一种新颖的两阶段训练机制和一种新的正则化技术，以提高基于内存的变压器模型的训练效率，这些模型常用于长距离上下文问题。在实验中，我们将Transformer-XL作为基线模型，该模型是基于内存的变压器模型之一。结果显示，我们的最终模型Skip Cross-head TransformerXL在字符级语言建模任务上超越了基线模型，参数量相当；而在词级语言建模任务上，参数量减少了近20%，但仍优于基线模型。我们所提出的方法无需额外的内存资源。此外，我们在BERT上也验证了所提出的正则化机制的有效性，在多个GLUE任务中，分数的标准差降低了约30%，性能表现相似。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| language-modelling-on-enwiki8 | Skip Cross-Head Transformer-XL | Bit per Character (BPC): 1.033 Number of params: 41M |
| language-modelling-on-wikitext-103 | Skip Cross-Head Transformer-XL | Number of params: 122M Test perplexity: 22.91 Validation perplexity: 21.87 |
| paraphrase-identification-on-quora-question-1 | BERT + SCH attn | Val F1 Score: 88.436 |
| paraphrase-identification-on-quora-question-1 | BERT + SCH attm | Val Accuracy: 91.422 |