3 个月前

思维链在复杂视觉-语言推理任务中的作用

思维链在复杂视觉-语言推理任务中的作用

摘要

本研究探讨了思维链(Chain-of-Thought)方法在提升视觉-语言任务中的有效性。该方法以其在语言任务中通过分解为子任务和中间步骤而展现出的卓越性能而闻名,现被拓展应用于需要复杂感知与推理能力的视觉-语言任务。本文提出“先描述后决策”(Description then Decision)策略,该策略受到人类信息处理机制的启发。实验结果表明,该策略使探测任务的性能提升了50%,为未来在复杂视觉-语言任务中探索新型推理范式奠定了重要基础。

基准测试

基准方法指标
visual-reasoning-on-winogroundGPT-4V (CoT, pick b/w two options)
Group Score: 58.75
Image Score: 68.75
Text Score: 75.25
visual-reasoning-on-winogroundGPT-4V (pick b/w two options)
Group Score: 39.25
Image Score: 46.25
Text Score: 69.25

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
思维链在复杂视觉-语言推理任务中的作用 | 论文 | HyperAI超神经