摘要

先前的研究表明，自动作文评分系统，尤其是基于机器学习的系统，无法有效评估作文质量，而是过度依赖作文长度这一与写作能力无关的因素。在本研究中，我们首先指出，当前最先进的系统——近期的神经网络作文评分系统——也可能受到标准数据集中作文长度与评分之间相关性的影响。在我们的评估中，一个极为简单的神经网络模型在标准数据集上已表现出与最先进水平相当的性能。为在不考虑作文长度的前提下评估作文内容，我们提出了一种简单的神经网络模型，用于衡量输入作文与不同评分作文之间的内容相似性。该模型在标准数据集及第二个数据集上均取得了与当前最先进水平相当的性能。研究结果表明，神经网络作文评分系统应充分考虑数据集的特性，将关注点聚焦于文本质量本身。