摘要

近年来，开发摘要系统的模型包含数百万个参数，模型性能在很大程度上取决于训练数据的丰富程度。尽管现有的大多数摘要语料库包含的数据量从几千到一百万不等，但生成数百万规模的大型摘要数据集尚未得到充分探索。实际上，更多的数据有助于将训练模式泛化到未见过的数据上。本文中，我们介绍了TLDR9+——一个大规模的摘要数据集——该数据集包含从Reddit讨论论坛（https://github.com/sajastu/reddit_collector）提取的超过900万个训练实例。该数据集专门用于进行极端摘要（即，在高压缩和抽象的情况下生成一句话摘要），其规模比之前提出的同类数据集大两倍以上。我们进一步通过人工注释，从TLDR9+中筛选出高质量实例，提炼出一个更为精细的数据集，并将其命名为TLDRHQ数据集。我们还在提出的这些数据集上评估了不同的最先进摘要模型。