摘要

近年来，预训练模型在大多数自然语言处理（NLP）任务中已占据主导地位。然而，在自动作文评分（Automated Essay Scoring, AES）领域，诸如BERT之类的预训练模型尚未被充分应用以超越其他深度学习模型（如LSTM）的性能。本文提出了一种新颖的、可联合学习的多尺度作文表示方法，专为BERT设计。同时，我们引入了多种损失函数，并利用跨领域作文数据进行迁移学习，以进一步提升模型表现。实验结果表明，本方法通过联合学习多尺度作文表示，显著提升了性能，在ASAP任务中达到了接近当前最优的深度学习模型水平。此外，所提出的多尺度作文表示在CommonLit可读性竞赛数据集上也展现出良好的泛化能力，表明本文提出的新型文本表示方法可能成为长文本任务中一种新的、有效的解决方案。