3 个月前

针对问答任务,微调整个RAG架构(包括DPR检索器)

针对问答任务,微调整个RAG架构(包括DPR检索器)

摘要

本文阐述了如何以端到端的方式对整个检索增强生成(Retrieval-Augmented Generation, RAG)架构进行微调。我们重点介绍了为实现该目标所需克服的主要工程挑战。同时,我们对比分析了端到端RAG架构在问答任务中相较于原始RAG架构的性能优势。我们的实现已开源,并集成至HuggingFace Transformers库中。

基准测试

基准方法指标
question-answering-on-squad-1RAG-end2end
Exact Match: 40.02

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
针对问答任务,微调整个RAG架构(包括DPR检索器) | 论文 | HyperAI超神经