4 个月前

一种多模态神经几何求解器,解析自图中的文本子句

一种多模态神经几何求解器,解析自图中的文本子句

摘要

几何问题求解(GPS)是一种高层次的数学推理,需要多模态融合和几何知识应用的能力。近期,神经求解器在GPS领域展现出巨大潜力,但在图形表示和模态融合方面仍存在不足。在这项工作中,我们将图形转换为基本的文本子句,以有效描述图形特征,并提出了一种新的神经求解器——PGPSNet,用于高效融合多模态信息。通过结合结构预训练和语义预训练、数据增强以及自限制解码,PGPSNet具备丰富的几何定理和几何表示知识,从而促进了几何理解和推理能力。此外,为了推动GPS领域的研究,我们构建了一个新的大规模且精细标注的GPS数据集,命名为PGPS9K,该数据集同时包含细粒度的图形标注和可解释的解决方案程序。在PGPS9K和现有数据集Geometry3K上的实验验证了我们的方法优于当前最先进的神经求解器。我们的代码、数据集及附录材料可在以下网址获取:\url{https://github.com/mingliangzhang2018/PGPS}。

代码仓库

mingliangzhang2018/pgps
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
mathematical-reasoning-on-pgps9kPGPSNet
Completion accuracy: 62.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
一种多模态神经几何求解器,解析自图中的文本子句 | 论文 | HyperAI超神经