摘要

归纳式迁移学习已席卷整个自然语言处理（NLP）领域，以BERT和BART为代表的模型在众多自然语言理解（NLU）任务上刷新了多项性能纪录。然而，目前绝大多数相关模型与研究仍集中于英语。在本研究中，我们提出了BARThez，这是首个面向法语的大规模预训练序列到序列（seq2seq）模型。基于BART架构，BARThez在生成类任务中表现出色。我们在FLUE基准的五项判别性任务以及我们为本研究构建的新摘要数据集OrangeSum中的两项生成性任务上对BARThez进行了评估。实验结果表明，BARThez在性能上与当前最先进的法语BERT类模型（如CamemBERT和FlauBERT）相当，具有很强的竞争力。此外，我们还在BARThez所使用的语料库上继续对多语言BART进行预训练，得到了mBARThez模型，其显著提升了BARThez在生成任务上的表现。相关代码、数据与模型均已公开。