摘要

我们提出TANDA，一种针对预训练Transformer模型在自然语言任务中进行微调的有效技术。具体而言，我们首先利用大规模高质量数据集对预训练模型进行微调，将其迁移为适用于通用任务的模型；随后，再进行第二阶段的微调，以将该迁移后的模型适配至目标领域。我们以问答系统中的经典推理任务——答案句子选择（Answer Sentence Selection）为例，验证了该方法的优势。为支持迁移阶段的训练，我们构建了一个大规模数据集，充分利用了Natural Questions数据集。实验结果表明，TANDA在两个知名基准测试集WikiQA和TREC-QA上均取得了当前最优性能，分别达到了92%和94.3%的平均精度均值（MAP），显著超越了近期最先进方法所获得的83.4%和87.5%的最高成绩。我们通过实证研究进一步证明，TANDA能够生成更加稳定且鲁棒的模型，从而显著降低对最优超参数选择的依赖性。此外，我们还发现，TANDA中的迁移阶段可增强适应阶段对噪声的鲁棒性，使得在微调过程中能够更高效地利用含噪声的数据集。最后，我们在工业场景中也验证了TANDA的积极效果，使用多种存在不同类型噪声的领域特定数据集进行测试，结果表明该方法在实际应用中同样具有显著优势。