摘要

近期的问题生成方法借鉴了机器翻译领域的进展，对序列到序列（Seq2Seq）架构进行了改进。这些模型在训练过程中使用教师强制（teacher forcing）技术，仅优化一步预测。然而，在测试时，模型需要生成整个序列，这会导致生成过程中的错误传播（暴露偏差）。一些研究者提出通过强化学习优化与训练数据关联度较低的奖励来对抗这种偏差。我们直接针对质量指标进行优化，包括一种新颖的方法，即从训练数据中直接学习判别器（discriminator）。我们证实了策略梯度方法可以用于将训练与真实数据解耦，从而提高作为奖励的质量指标。我们还进行了人工评估，结果显示尽管这些指标之前被认为是对问题质量的良好代理，但它们与人类判断的吻合度较差，模型只是学会了利用奖励源的弱点。