4 个月前

动态多层级多任务学习用于句子简化

动态多层级多任务学习用于句子简化

摘要

句子简化旨在通过分割、删除和释义等多种操作提高可读性和理解性。然而,有效的简化句子还应逻辑上蕴含其输入句子的意义。在本研究中,我们首先提出了一种基于强指针复制机制的序列到序列句子简化模型,然后通过与相关辅助任务(如蕴含判断和释义生成)的多任务学习来增强该模型的蕴含能力和释义能力。此外,我们提出了一种新颖的“多层次”分层软共享方法,根据任务的语义或词汇-句法特性,每个辅助任务共享句子简化模型的不同(高层与低层)层次。我们还引入了一种基于多臂赌博机的新颖训练方法,该方法能够动态学习如何在多任务学习过程中有效切换任务。在多个流行数据集上的实验表明,我们的模型在SARI和FKGL自动评估指标以及人工评估方面均优于竞争性的句子简化系统。进一步地,我们对替代的层次共享方法、软共享与硬共享、动态多臂赌博机采样方法以及模型所学得的蕴含和释义技能进行了若干消融分析。

基准测试

基准方法指标
text-simplification-on-newselaPointer + Multi-task Entailment and Paraphrase Generation
BLEU: 11.14
SARI: 33.22
text-simplification-on-pwkp-wikismallPointer + Multi-task Entailment and Paraphrase Generation
BLEU: 27.23
SARI: 29.58
text-simplification-on-turkcorpusPointer + Multi-task Entailment and Paraphrase Generation
BLEU: 81.49
SARI (EASSEu003e=0.2.1): 37.45

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
动态多层级多任务学习用于句子简化 | 论文 | HyperAI超神经