3 个月前

注意力正则化的序列到序列学习在端到端自然语言生成挑战中的应用

注意力正则化的序列到序列学习在端到端自然语言生成挑战中的应用

摘要

本文介绍了我们在端到端(E2E)自然语言生成(NLG)挑战赛中所采用的系统。该挑战赛构建了一个面向餐厅领域语音对话系统的新型数据集,该数据集展现出更丰富的词汇多样性与句法变化,对内容选择提出了更高要求(Novikova 等,2017)。为应对这一挑战,我们采用基于CAEncoder增强的序列到序列学习模型(Zhang 等,2017),并提出一种注意力正则化方法,以促进注意力权重在输入词语间的均匀分布,同时有效缓解过拟合问题。在未进行任何特殊设计的前提下,我们的系统已表现出非常出色的性能。尤其值得一提的是,该系统在ROUGE-L指标上取得了0.7083的得分,是所有提交的主要系统中的最佳结果。

基准测试

基准方法指标
data-to-text-generation-on-e2e-nlg-challengeZhang
BLEU: 65.45
CIDEr: 2.1012
METEOR: 43.92
NIST: 8.1804
ROUGE-L: 70.83

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
注意力正则化的序列到序列学习在端到端自然语言生成挑战中的应用 | 论文 | HyperAI超神经