摘要

文本简化系统的效果在很大程度上取决于训练语料中复杂句与简单句配对的质量与数量，这些配对通常通过平行文章之间的句子对齐来获取。为评估并提升句子对齐的质量，我们从两个常用文本简化语料库——Newsela和Wikipedia中，构建了两个经过人工标注的句子对齐数据集。为此，我们提出了一种新型神经条件随机场（CRF）对齐模型，该模型不仅利用了平行文档中句子的序列特性，还结合了神经句子对模型以捕捉语义相似性。实验结果表明，所提出的模型在单语句对齐任务上的F1分数相较于以往所有方法均有超过5个百分点的提升。我们将该CRF对齐器应用于构建两个新的文本简化数据集——Newsela-Auto与Wiki-Auto，相较于现有数据集，这两个数据集规模更大、质量更高。基于我们构建的数据集训练的基于Transformer的序列到序列（seq2seq）模型，在自动评估与人工评估中均取得了文本简化任务的新最优性能，树立了新的技术标杆。