3 个月前

语法错误修正的神经质量评估

语法错误修正的神经质量评估

摘要

在语言学习环境中部署的语法错误纠正(GEC)系统应能准确修正学习者写作中的错误。然而,实际应用中,这些系统常常产生虚假的修正结果,同时未能纠正大量真实错误,从而误导学习者。因此,亟需对GEC系统生成的输出句质量进行评估,以便教师能够有针对性地介入,重新修正系统处理不当的句子,确保学习者获得准确的反馈。本文提出了首个无需依赖人工设计特征的神经网络型GEC输出质量自动评估方法。该系统在监督学习框架下进行训练,使用学习者原始句子及其对应的GEC系统输出,并结合人工标注参考句计算出的质量评分标签。实验结果表明,所提出的神经质量评估模型在GEC任务上显著优于一个强大的基于特征的基线方法。此外,我们还证明,当将质量评分作为重排序(re-ranking)N-best候选结果的特征时,当前最先进的GEC系统性能可进一步得到提升。

基准测试

基准方法指标
grammatical-error-correction-on-conll-2014CNN Seq2Seq + Quality Estimation
F0.5: 56.52
grammatical-error-correction-on-restrictedCNN Seq2Seq + Quality Estimation
F0.5: 56.52

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
语法错误修正的神经质量评估 | 论文 | HyperAI超神经