摘要

生成多样化的序列在许多自然语言处理（NLP）应用中非常重要，例如问题生成或摘要生成，这些应用展示了源序列与目标序列之间语义上的多对一关系。我们提出了一种方法，通过一个通用的即插即用模块（称为SELECTOR）来显式地分离多样化与生成过程，该模块可以包裹并指导现有的编码器-解码器模型。多样化阶段利用专家混合模型对源序列进行不同二进制掩码的采样，以选择不同的内容。生成阶段则基于从源序列中选择的每部分内容，使用标准的编码器-解码器模型进行生成。由于离散采样的不可微分性质以及缺乏二进制掩码的真实标签，我们采用了一个真实掩码的代理，并采用了随机硬期望最大化（stochastic hard-EM）算法进行训练。在问题生成（SQuAD）和抽象摘要生成（CNN-DM）任务中，我们的方法在准确性、多样性和训练效率方面均表现出显著改进，包括在这两个数据集上达到了最先进的Top-1准确率，在Top-5准确率上提高了6%，并且比最先进的模型快3.7倍完成训练。我们的代码已公开发布在https://github.com/clovaai/FocusSeq2Seq。