4 个月前

结合Transformer和释义规则进行句子简化

结合Transformer和释义规则进行句子简化

摘要

句子简化旨在降低句子的复杂度,同时保留其原始含义。目前的句子简化模型借鉴了机器翻译研究的思想,从正常-简化句对中隐式学习简化映射规则。本文探索了一种基于多层和多头注意力机制的新模型,并提出了两种创新方法来整合Simple PPDB(一个用于简化的同义句数据库),这是一个涵盖广泛现实简化规则的外部同义句知识库。实验结果表明,这种整合带来了两个主要优势:(1) 整合后的模型在文献中的多个最新基准模型上表现出色;(2) 通过对规则利用情况的分析,该模型能够选择更准确的简化规则。本文使用的代码和模型可在 https://github.com/Sanqiang/text_simplification 获取。

基准测试

基准方法指标
text-simplification-on-assetDMASS-DCSS
BLEU: 71.44*
SARI (EASSEu003e=0.2.1): 38.67
text-simplification-on-newselaDMASS + DCSS
SARI: 27.28
text-simplification-on-turkcorpusDMASS-DCSS
SARI (EASSEu003e=0.2.1): 40.45

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
结合Transformer和释义规则进行句子简化 | 论文 | HyperAI超神经