4 个月前

带有查询聚合的指导性对话总结

带有查询聚合的指导性对话总结

摘要

传统的对话摘要方法直接生成摘要,而不考虑用户的特定兴趣。这在用户更加关注特定主题或方面的情况下带来了挑战。随着指令微调语言模型的发展,我们引入了指令调优技术来扩展对话摘要模型的能力集。为了克服指令型对话摘要数据稀缺的问题,我们提出了一种三步法来合成高质量的基于查询的摘要三元组。该过程包括以摘要为中心的查询生成、查询过滤和基于查询的摘要生成。通过在三个包含多用途指令三元组的摘要数据集上训练一个统一模型——InstructDS(指令型对话摘要),我们扩展了对话摘要模型的能力。我们在四个数据集上评估了我们的方法,包括对话摘要和对话阅读理解。实验结果表明,我们的方法优于现有的最先进模型,甚至优于规模更大的模型。此外,根据人类主观评价的结果,我们的模型还表现出更高的泛化能力和忠实度。

代码仓库

BinWang28/InstructDS
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
machine-reading-comprehension-on-dreamInstructDS
Accuracy: 65.9
text-summarization-on-dialogsumInstructDS
Rouge1: 47.8
Rouge2: 22.2
RougeL: 39.4
text-summarization-on-samsum-corpusInstructDS
BertScoreF1: 55.5
ROUGE-1: 55.3
ROUGE-2: 31.3
ROUGE-L: 46.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
带有查询聚合的指导性对话总结 | 论文 | HyperAI超神经