摘要
基于注意力机制的架构的出现，显著提升了神经序列到序列模型在文本摘要任务中的性能。尽管这些模型在英文文档摘要方面已被证明具有良好的效果，但其在其他语言上的可迁移性仍然有限，因而仍有较大的改进空间。本文提出 BART-IT，一种基于 BART 架构、专为意大利语优化的序列到序列模型。该模型首先在大规模意大利语文本语料上进行预训练，以学习语言特异性特征，随后在多个用于抽象摘要任务的基准数据集上进行微调。实验结果表明，尽管参数量显著少于其他先进模型，BART-IT 在 ROUGE 评分上仍优于现有主流模型。BART-IT 的应用有望推动意大利语自然语言处理相关技术的发展。除了向研究社区公开模型以促进后续研究与应用外，本文还探讨了抽象摘要模型使用所涉及的伦理问题。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| abstractive-text-summarization-on-abstractive | BART-IT | # Parameters: 140 BERTScore: 73.24 ROUGE-1: 35.42 ROUGE-2: 15.88 ROUGE-L: 25.12 |
| abstractive-text-summarization-on-abstractive | mT5 | # Parameters: 390 BERTScore: 72.77 ROUGE-1: 34.13 ROUGE-2: 15.76 ROUGE-L: 24.84 |
| abstractive-text-summarization-on-abstractive | mBART | # Parameters: 610 BERTScore: 73.4 ROUGE-1: 36.52 ROUGE-2: 17.52 ROUGE-L: 26.14 |
| abstractive-text-summarization-on-abstractive | IT5-base | # Parameters: 220 BERTScore: 70.3 ROUGE-1: 33.99 ROUGE-2: 15.59 ROUGE-L: 24.91 |
| abstractive-text-summarization-on-abstractive-1 | IT5-base | BERTScore: 71.06 ROUGE-1: 32.88 ROUGE-2: 15.53 ROUGE-L: 26.7 |
| abstractive-text-summarization-on-abstractive-1 | mT5 | BERTScore: 74.69 ROUGE-1: 35.04 ROUGE-2: 17.41 ROUGE-L: 28.68 |
| abstractive-text-summarization-on-abstractive-1 | mBART | BERTScore: 75.86 ROUGE-1: 38.91 ROUGE-2: 21.41 ROUGE-L: 32.08 |
| abstractive-text-summarization-on-abstractive-1 | BART-IT | BERTScore: 75.36 ROUGE-1: 37.31 ROUGE-2: 19.44 ROUGE-L: 30.41 |
| abstractive-text-summarization-on-wits | IT5-base | BERTScore: 77.14 ROUGE-1: 37.98 ROUGE-2: 24.32 ROUGE-L: 34.94 |
| abstractive-text-summarization-on-wits | BART-IT | BERTScore: 79.28 ROUGE-1: 42.32 ROUGE-2: 28.83 ROUGE-L: 38.84 |
| abstractive-text-summarization-on-wits | mBART | BERTScore: 78.65 ROUGE-1: 39.32 ROUGE-2: 26.18 ROUGE-L: 35.9 |
| abstractive-text-summarization-on-wits | mT5 | BERTScore: 80.73 ROUGE-1: 40.6 ROUGE-2: 26.9 ROUGE-L: 37.43 |