摘要

答案句选择（Answer Sentence Selection, AS2）是构建高精度问答系统的核心组件。AS2模型通过评估候选句子回答给定问题的可能性，对一组候选句子进行排序。当前最先进的AS2方法通过在大规模标注数据集上对预训练的Transformer模型进行迁移学习，并结合候选句子周围的局部上下文信息来实现性能提升。本文提出三种预训练目标，旨在模拟下游微调阶段中上下文AS2任务的特性，从而在微调阶段使语言模型（LMs）更好地适应上下文AS2任务。我们在三个公开数据集和两个大规模工业数据集上的实验表明，所提出的预训练方法（应用于RoBERTa和ELECTRA模型）在部分数据集上可将基线上下文AS2的准确率提升高达8%。