摘要

Transformer架构在众多自然语言处理任务中取得了显著成功。由于Transformer模型存在参数过度膨胀的问题，激发了大量研究工作致力于缓解其过拟合现象，以提升模型性能。通过深入探索，我们发现，仅通过精心设计的简单技术（如Dropout），即可显著提升模型表现。因此，本文将多种Dropout技术整合至Transformer模型的训练过程中。具体而言，我们提出了一种名为UniDrop的方法，该方法统一了从细粒度到粗粒度的三种不同Dropout技术：特征Dropout、结构Dropout与数据Dropout。理论上，我们证明了这三种Dropout在正则化视角下各自扮演着不同的角色。在实验方面，我们在神经机器翻译与文本分类的基准数据集上进行了广泛验证。实验结果表明，采用UniDrop的Transformer模型在IWSLT14翻译任务上可实现约1.5 BLEU的性能提升，同时在文本分类任务中，即使以强大的预训练模型RoBERTa作为主干网络，也能获得更优的分类准确率。