
摘要
本文阐述了如何以端到端的方式对整个检索增强生成(Retrieval-Augmented Generation, RAG)架构进行微调。我们重点介绍了为实现该目标所需克服的主要工程挑战。同时,我们对比分析了端到端RAG架构在问答任务中相较于原始RAG架构的性能优势。我们的实现已开源,并集成至HuggingFace Transformers库中。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| question-answering-on-squad-1 | RAG-end2end | Exact Match: 40.02 |