摘要

在本研究中，我们探讨了预训练语言模型BERT在问题生成任务中的应用。为此，我们提出了三种基于BERT的神经网络架构，用于解决问题生成问题。第一种架构为直接应用BERT的简单方式，该方法揭示了直接将BERT用于文本生成所存在的缺陷。为此，我们进一步提出另外两种模型，通过将BERT的使用方式重构为序列化结构，从而能够利用先前解码结果中的信息。我们的模型在近期的问题回答数据集SQuAD上进行训练与评估。实验结果表明，我们表现最佳的模型达到了当前最优的性能，将现有最佳模型的BLEU-4得分从16.85提升至22.17。