摘要

检索增强模型在自然语言处理任务中已被证明具有显著效果，然而针对其优化的变分推断研究仍相对匮乏。为此，我们提出了变分开放域（Variational Open-Domain, VOD）框架，用于检索增强模型的端到端训练与评估，重点聚焦于开放域问答与语言建模任务。VOD目标函数是一种自归一化的Rényi变分界估计，能够近似任务的边际似然，并在从辅助采样分布（如缓存的检索器和/或近似后验）中抽取的样本下进行评估。该方法即使在针对大规模语料库定义的检索器分布下仍保持可计算性。我们通过在多项选择型医学考试题目上训练Reader-Retriver结构的BERT规模模型，验证了VOD框架的通用性。在MedMCQA数据集上，尽管参数量仅为领域微调模型Med-PaLM的1/2500，我们的方法仍实现了+5.3%的性能提升。此外，我们提出的检索增强型BioLinkBERT模型在MedMCQA上取得了62.9%的准确率，在MedQA-USMLE上达到55.0%。最后，我们进一步展示了所学习的检索组件在医学语义搜索任务中的有效性。