
摘要
本文评估了修辞结构理论(Rhetorical Structure Theory, RST)树和关系在话语连贯性评价中的实用性。研究结果表明,结合银标准 RST 特征可以提高连贯性分类的准确性。我们通过一种树递归神经模型——即 RST-递归模型(RST-Recursive),展示了这一效果,该模型利用了由最先进的 RST 解析器生成的文本 RST 特征。我们在 Grammarly 话语连贯性语料库(Grammarly Corpus for Discourse Coherence, GCDC)上对我们的方法进行了评估,结果显示,当与当前最先进方法结合使用时,我们的方法可以在这一基准测试中达到新的最先进准确率。此外,即使单独部署,RST-递归模型也能实现具有竞争力的准确率,同时参数量减少了 62%。
代码仓库
grig-guz/coherence-rst
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| coherence-evaluation-on-gcdc-rst-accuracy | RST-Ensemble | Accuracy: 55.39 |
| coherence-evaluation-on-gcdc-rst-accuracy | RST-Recursive | Accuracy: 53.04 |
| coherence-evaluation-on-gcdc-rst-f1 | RST-Ensemble | Average F1: 46.98 |
| coherence-evaluation-on-gcdc-rst-f1 | RST-Recursive | Average F1: 44.30 |