3 个月前

BioLay_AK_SS 在 BioLaySumm 上:用于生物医学通俗摘要生成的大语言模型的两阶段微调领域自适应方法

BioLay_AK_SS 在 BioLaySumm 上:用于生物医学通俗摘要生成的大语言模型的两阶段微调领域自适应方法

摘要

通俗化摘要(Lay summarization)至关重要但极具挑战性,其目的在于将复杂的科学信息简化为非专业人士易于理解的形式,帮助公众及时了解最新的科学进展。在2024年ACL会议举办的“生物医学研究论文通俗化摘要共享任务”(Shared Task: Lay Summarization of Biomedical Research Articles @ BioNLP Workshop,Goldsack et al., 2024)中,我们对大语言模型(Large Language Models, LLMs)在生物医学文献抽象摘要生成任务中的表现进行了全面评估。评估基于主办方提供的eLife和PLOS数据集,采用涵盖相关性、可读性和事实准确性三个维度的十项指标进行量化分析。为此,我们提出了一种两阶段的生物医学文献通俗化摘要生成框架。第一阶段,基于给定数据集对BART和PEGASUS两类大语言模型进行微调,生成初步摘要。第二阶段,将第一阶段生成的多个摘要进行融合,并输入至BioBART模型中,随后在相同数据集上对BioBART进行进一步微调。实验结果表明,结合通用领域与领域特定的大语言模型,能够显著提升通俗化摘要的质量与整体性能。

基准测试

基准方法指标
abstractive-text-summarization-on-elifeTwo stage LLMs
Test ROGUE-1: 0.4635
abstractive-text-summarization-on-plosTwo stage LLMs
Test ROGUE-1: 0.4396

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
BioLay_AK_SS 在 BioLaySumm 上:用于生物医学通俗摘要生成的大语言模型的两阶段微调领域自适应方法 | 论文 | HyperAI超神经