Zebra-CoT 是由哥伦比亚大学、马里兰大学、南加州大学和纽约大学于 2025 年联合发布的一个视觉语言推理数据集，相关论文成果为「Zebra-CoT: A Dataset for Interleaved Vision Language Reasoning」，旨在推动模型更好地理解图像与文本之间的逻辑关系，广泛应用于视觉问答、图像描述生成等领域，帮助提升推理能力和准确性。 该数据集包含 182,384 个样本，涵盖 4 个主要类别：科学推理、二维视觉推理、三维视觉推理以及视觉逻辑与策略游戏，这些样本包含逻辑连贯的交错文本-图像推理轨迹。

数据集结构：

• 问题描述：问题的文本描述。
• 问题图像：根据问题的性质，可能伴随零个或多个图像。
• 推理图像：在解决问题过程中，至少有一个或多个支持中间推理步骤的视觉辅助工具。
• 文本推理轨迹：一系列文本思考以及相应的视觉草图或图表占位符。
• 最终答案：问题的解决方案。

  

Citation

@inproceedings{
li2026zebracot,
title={Zebra-CoT: A Dataset for Interleaved Vision-Language Reasoning},
author={Ang Li and Charles Wang and Deqing Fu and Kaiyu Yue and Zikui Cai and Wang Bill Zhu and Ollie Liu and Peng Guo and Willie Neiswanger and Furong Huang and Tom Goldstein and Micah Goldblum},
booktitle={The Fourteenth International Conference on Learning Representations},
year={2026},
url={https://openreview.net/forum?id=c6XIVI3TiQ}
}