Henrique Godoy

摘要

本文提出了一种名为Extract-0的70亿参数语言模型，该模型专为文档信息抽取任务进行优化，其性能超越了参数量大几个数量级的诸多模型。通过将合成数据生成、基于低秩适配（LoRA）的监督微调以及基于组相对策略优化（GRPO）的强化学习相结合的创新方法，Extract-0在包含1000个多样化文档抽取任务的基准测试中取得了0.573的平均奖励得分，优于GPT-4.1（0.457）、o3（0.464）和GPT-4.1-2025（0.459）。训练方法采用了一种具有记忆保持特性的合成数据生成流程，从多种文档来源生成了280,128个训练样本，随后进行参数高效的微调，仅调整模型权重的0.53%（即76.6亿参数中的4040万参数）。强化学习阶段引入了一种基于语义相似性的新型奖励函数，有效应对信息抽取任务中固有的歧义性问题。本研究证明，针对特定任务的优化能够使模型在显著降低计算资源消耗的前提下，超越通用型系统。