摘要

本文介绍了一种新的统一预训练语言模型（UniLM），该模型可以针对自然语言理解和生成任务进行微调。模型通过三种语言建模任务进行预训练：单向、双向和序列到序列预测。通过使用共享的Transformer网络并利用特定的自注意力掩码来控制预测条件所依赖的上下文，实现了统一建模。UniLM在GLUE基准测试以及SQuAD 2.0和CoQA问答任务上的表现优于BERT。此外，UniLM在五个自然语言生成数据集上取得了最新的最佳结果，包括将CNN/DailyMail摘要生成的ROUGE-L分数提高至40.51（绝对提升2.04分）、Gigaword摘要生成的ROUGE-L分数提高至35.75（绝对提升0.86分）、CoQA生成式问答的F1分数提高至82.5（绝对提升37.1分）、SQuAD问题生成的BLEU-4分数提高至22.12（绝对提升3.75分）以及DSTC7基于文档的对话响应生成的NIST-4分数提高至2.67（人类表现为2.65）。相关代码和预训练模型可在https://github.com/microsoft/unilm 获取。