3 个月前

SimCLS:一种用于抽象摘要对比学习的简单框架

SimCLS:一种用于抽象摘要对比学习的简单框架

摘要

本文提出了一种概念简洁但实证效果显著的抽象摘要框架——SimCLS。该框架通过将文本生成任务重新定义为无需参考文本的评估问题(即质量估计),并借助对比学习(contrastive learning)技术,有效弥合了当前主流序列到序列学习范式中学习目标与评估指标之间的鸿沟。实验结果表明,仅需对现有顶尖模型进行微小调整,SimCLS即可显著提升其性能。在CNN/DailyMail数据集上,相较于BART模型,ROUGE-1指标提升达2.51个百分点;相较于PEGASUS模型,提升亦达2.50个百分点,将当前摘要任务的最先进水平推至全新高度。我们已开源全部代码与实验结果:https://github.com/yixinL7/SimCLS。所提出的模型结果已部署于ExplainaBoard平台,使研究者能够以更细粒度的方式深入理解系统行为与性能表现。

代码仓库

andrejmiscic/simcls-pytorch
pytorch
GitHub 中提及
yixinL7/SimCLS
官方
pytorch

基准测试

基准方法指标
abstractive-text-summarization-on-cnn-dailyBART + SimCLS
ROUGE-1: 46.67
ROUGE-2: 22.15
ROUGE-L: 43.54
text-summarization-on-x-sumPEGASUS + SimCLS
ROUGE-1: 47.61
ROUGE-2: 24.57
ROUGE-L: 39.44

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SimCLS:一种用于抽象摘要对比学习的简单框架 | 论文 | HyperAI超神经