3 个月前

基于成对对比回归的自动化作文评分

基于成对对比回归的自动化作文评分

摘要

自动作文评分(Automated Essay Scoring, AES)旨在预测与作文写作质量相关的评分。现有大多数AES研究分别采用回归目标或排序目标,然而这两种方法具有高度互补性。为此,本文受对比学习(contrastive learning)的启发,提出一种新颖的统一神经成对对比回归模型(Neural Pairwise Contrastive Regression, NPCR),该模型将回归与排序两种目标统一为单一损失函数,实现联合优化。具体而言,我们首先设计了一种神经成对排序模型,以保证在大规模作文列表中全局排序顺序的准确性;随后,进一步将该成对排序模型拓展为能够预测输入作文与多篇参考作文之间相对得分的能力。此外,在推理阶段引入多样本投票策略以提升评分稳定性与准确性。我们在公开的自动学生评估奖(Automated Student Assessment Prize, ASAP)数据集上采用加权二次κ系数(Quadratic Weighted Kappa)对模型进行评估,实验结果表明,NPCR显著优于以往方法,达到了当前AES任务的最先进平均性能。

基准测试

基准方法指标
automated-essay-scoring-on-asapNeural Pairwise Contrastive Regression (NPCR)
Quadratic Weighted Kappa: 0.817

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于成对对比回归的自动化作文评分 | 论文 | HyperAI超神经