3 个月前

主题感知的对比学习用于抽象型对话摘要

主题感知的对比学习用于抽象型对话摘要

摘要

与新闻报道和百科全书文章等结构化文本不同,对话内容通常源自两位或多位对话者之间的信息交互。在这种情境下,对话的主题可能随交流进程而发生变化,而某一主题的关键信息往往分散在不同说话人发出的多个语句中,这给对话的抽象概括带来了挑战。为有效捕捉对话中的多种主题信息,并提炼出所涉主题的关键事实,本文提出两种面向主题的对比学习目标,即连贯性检测目标与子摘要生成目标。这两种目标旨在隐式建模主题的演变过程,并应对信息分散带来的挑战,从而提升对话摘要任务的性能。所提出的对比学习目标被设计为辅助任务,与主任务——对话摘要任务——通过一种交替参数更新策略进行联合优化。在多个基准数据集上的大量实验表明,该方法虽结构简单,却显著优于现有强基线模型,并取得了新的最先进性能。相关代码与训练好的模型已公开发布于 \href{https://github.com/Junpliu/ConDigSum}{https://github.com/Junpliu/ConDigSum}。

代码仓库

junpliu/condigsum
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
text-summarization-on-samsum-corpusConDigSum
BertScoreF1: 54
ROUGE-1: 54.3
ROUGE-2: 29.3
ROUGE-L: 45.2
text-summarization-on-samsum-corpusBART-Large
BertScoreF1: 52.1
ROUGE-1: 52.6
ROUGE-2: 27
ROUGE-L: 42.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
主题感知的对比学习用于抽象型对话摘要 | 论文 | HyperAI超神经