摘要
迄今为止，针对真实世界数据的篇章连贯性方法评估工作非常有限。为了解决这一问题，我们介绍了一个新的真实世界文本语料库（GCDC）以及首次对领先篇章连贯性算法进行的大规模评估。研究结果表明，神经模型，包括我们在此提出的两种新模型（SentAvg 和 ParSeq），通常表现最佳。我们分析了这些性能差异，并讨论了在四个领域中观察到的低连贯性文本模式。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| coherence-evaluation-on-gcdc-rst-accuracy | ParSeq | Accuracy: 55.09 |
| coherence-evaluation-on-gcdc-rst-f1 | ParSeq | Average F1: 46.65 |