摘要

当前自然语言生成领域的预训练工作对下游任务中的暴露偏差问题关注较少。为了解决这一问题，我们提出了一种增强的多流序列到序列预训练和微调框架，命名为ERNIE-GEN。该框架通过引入填充生成机制和噪声感知生成方法，缩小了训练与推理之间的差异。为了使生成内容更接近人类的写作模式，该框架引入了一种按片段生成的流程，训练模型连续预测语义完整的片段，而不是逐词预测。与现有的预训练方法不同，ERNIE-GEN采用了多粒度目标采样来构建预训练数据，从而增强了编码器和解码器之间的相关性。实验结果表明，在包括抽象摘要（Gigaword和CNN/DailyMail）、问题生成（SQuAD）、对话生成（Persona-Chat）和生成式问答（CoQA）等一系列语言生成任务中，ERNIE-GEN在使用较少的预训练数据和参数的情况下取得了最先进的成果。