摘要

连贯性是文本质量的重要方面，对于确保其可读性至关重要。在诸如摘要生成、问答系统、机器翻译、问题生成、表格转文本等文本生成系统中，输出内容的连贯性尤为关键。自动连贯性评分模型在作文评分或提供写作反馈方面也具有重要作用。大量先前的研究工作利用了基于实体的方法、句法模式、篇章关系，以及最近的传统深度学习架构来评估文本的连贯性。然而，这些研究存在一些缺点，如无法处理长距离依赖关系、词汇表外的词语或建模序列信息的能力不足。我们认为，连贯性评估是一项认知复杂的任务，需要更深层次的模型，并且可以从其他相关任务中受益。因此，在本文中，我们提出了四种不同的基于Transformer的架构来完成这一任务：纯Transformer（vanilla Transformer）、层次Transformer（hierarchical Transformer）、多任务学习模型（multi-task learning-based model）和基于事实输入表示的模型（model with fact-based input representation）。我们在多个领域的四个不同连贯性评估任务上使用流行基准数据集进行实验，结果表明我们的模型取得了最先进的性能，在很大程度上超过了现有模型。