3 个月前

利用算子生成方程:GEO模型

利用算子生成方程:GEO模型

摘要

数学应用题求解是自然语言处理领域的一个新兴研究方向。近年来,为应对数学应用题求解任务,研究人员广泛采用编码器-解码器(encoder-decoder)架构,该架构最初主要应用于机器翻译任务。当前最先进的神经网络模型通常依赖人工设计的特征,并基于生成式方法构建。本文提出了一种名为GEO(基于操作符生成方程,Generation of Equations by utilizing Operators)的新模型,该模型不依赖人工设计特征,有效解决了现有神经模型存在的两个关键问题:1)缺乏领域特定知识特征;2)在编码阶段丢失知识信息。为解决领域知识特征缺失问题,我们设计了两项辅助任务:操作符组差异预测(operation group difference prediction)与隐式配对预测(implicit pair prediction)。为缓解编码层级知识丢失问题,我们引入了一个操作特征前馈层(Operation Feature Feed Forward, OP3F)。实验结果表明,GEO模型在两个基准数据集上均优于现有最先进模型:在MAWPS数据集上达到85.1%的准确率,在DRAW-1K数据集上达到62.5%的准确率,并在ALG514数据集上取得了82.1%的可比性能。

基准测试

基准方法指标
math-word-problem-solving-on-alg514GEO
Accuracy (%): 82.1
math-word-problem-solving-on-draw-1kGEO
Accuracy (%): 62.5
math-word-problem-solving-on-mawpsGEO
Accuracy (%): 85.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
利用算子生成方程:GEO模型 | 论文 | HyperAI超神经