
摘要
本研究探讨了思维链(Chain-of-Thought)方法在提升视觉-语言任务中的有效性。该方法以其在语言任务中通过分解为子任务和中间步骤而展现出的卓越性能而闻名,现被拓展应用于需要复杂感知与推理能力的视觉-语言任务。本文提出“先描述后决策”(Description then Decision)策略,该策略受到人类信息处理机制的启发。实验结果表明,该策略使探测任务的性能提升了50%,为未来在复杂视觉-语言任务中探索新型推理范式奠定了重要基础。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| visual-reasoning-on-winoground | GPT-4V (CoT, pick b/w two options) | Group Score: 58.75 Image Score: 68.75 Text Score: 75.25 |
| visual-reasoning-on-winoground | GPT-4V (pick b/w two options) | Group Score: 39.25 Image Score: 46.25 Text Score: 69.25 |