
摘要
本文介绍了首次使用神经网络模型进行学习者写作错误检测的实验。我们对不同的组合架构进行了系统性的比较,并提出了一种基于双向LSTM(长短期记忆网络)的错误检测框架。在CoNLL-14共享任务数据集上的实验表明,该模型在检测学习者写作中的错误方面优于其他参与者。最后,该模型被集成到一个公开部署的自我评估系统中,其性能与人工标注者相当。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| grammatical-error-detection-on-conll-2014-a1 | Bi-LSTM (unrestricted data) | F0.5: 34.3 |
| grammatical-error-detection-on-conll-2014-a1 | Bi-LSTM (trained on FCE) | F0.5: 16.4 |
| grammatical-error-detection-on-conll-2014-a2 | Bi-LSTM (trained on FCE) | F0.5: 23.9 |
| grammatical-error-detection-on-conll-2014-a2 | Bi-LSTM (unrestricted data) | F0.5: 44.0 |
| grammatical-error-detection-on-fce | Bi-LSTM | F0.5: 41.1 |