3 个月前

通过多思维链的元推理回答问题

通过多思维链的元推理回答问题

摘要

当前的多跳问答(multi-hop question answering, QA)系统通常将问题分解为一系列推理步骤,即所谓的“思维链”(chain-of-thought, CoT),最终得出答案。在实践中,常通过采样多个思维链,并对最终答案进行投票聚合来提升性能,但中间推理步骤本身在后续处理中被丢弃。尽管此类方法能有效提升准确率,却未能考虑不同思维链之间中间步骤的内在关联,也无法为预测答案提供统一、连贯的解释。为此,我们提出多思维链推理(Multi-Chain Reasoning, MCR)方法,该方法不采用对多个思维链答案的简单聚合,而是引导大型语言模型对多个思维链进行元推理(meta-reasoning)。MCR能够分析不同推理路径,融合其中的信息,并在生成解释和预测答案时筛选出最相关的关键事实。实验表明,MCR在7个主流多跳问答数据集上均显著优于现有强基线模型。此外,我们的分析显示,MCR生成的解释具有较高质量,能够支持人类用户对模型答案进行有效验证。

代码仓库

oriyor/reasoning-on-cots
官方
GitHub 中提及

基准测试

基准方法指标
question-answering-on-bamboogleMCR (code-davinci-002) + Google Search
Accuracy: 66.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过多思维链的元推理回答问题 | 论文 | HyperAI超神经