3 个月前

摘要级训练的句子重写用于抽取式摘要

摘要级训练的句子重写用于抽取式摘要

摘要

为融合抽取式与摘要式摘要方法的优势,句子重写(Sentence Rewriting)模型采用先从文档中提取关键句子,再对所选句子进行改写以生成摘要的策略。然而,现有该框架下的模型大多依赖于句子级别的奖励信号或次优标签,导致训练目标与评估指标之间存在不一致。本文提出一种新颖的训练信号,通过强化学习直接最大化摘要级别的ROUGE得分,从而实现更精准的目标对齐。此外,我们在模型中引入BERT,充分挖掘其在自然语言理解方面的强大能力。在大量实验中,我们验证了所提出的模型与训练方法相结合,在CNN/Daily Mail和New York Times数据集上均取得了新的最先进性能。同时,实验还表明该方法在DUC-2002测试集上具有更强的泛化能力。

基准测试

基准方法指标
abstractive-text-summarization-on-cnn-dailyBERT-ext + abs + RL + rerank
ROUGE-1: 41.90
ROUGE-2: 19.08
ROUGE-L: 39.64
extractive-document-summarization-on-cnnBERT-ext + RL
ROUGE-1: 42.76
ROUGE-2: 19.87
ROUGE-L: 39.11

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
摘要级训练的句子重写用于抽取式摘要 | 论文 | HyperAI超神经