4 个月前

神经错误检测模型的辅助目标

神经错误检测模型的辅助目标

摘要

我们研究了在神经序列标注方法中用于检测学习者写作错误的不同辅助目标和训练策略的效用。辅助成本为模型提供了额外的语料信息,使其能够学习通用的组合特征,这些特征随后可以被用于其他目标。实验结果表明,在领域内数据上使用并行标签进行联合训练的方法比先前最佳的错误检测系统表现更优。尽管最终模型的参数数量相同,但额外的目标使其能够更高效地优化并实现更好的性能。

基准测试

基准方法指标
grammatical-error-detection-on-conll-2014-a1Bi-LSTM + POS (unrestricted data)
F0.5: 36.1
grammatical-error-detection-on-conll-2014-a1Bi-LSTM + POS (trained on FCE)
F0.5: 17.5
grammatical-error-detection-on-conll-2014-a2Bi-LSTM + POS (trained on FCE)
F0.5: 26.2
grammatical-error-detection-on-conll-2014-a2Bi-LSTM + POS (unrestricted data)
F0.5: 45.1
grammatical-error-detection-on-fceBi-LSTM + err POS GR
F0.5: 47.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
神经错误检测模型的辅助目标 | 论文 | HyperAI超神经