摘要

视觉语言数据，如图表、曲线图和信息图，在人类世界中无处不在。然而，当前最先进的视觉-语言模型在处理这些数据时表现不佳。我们提出了一种名为MatCha（数学推理和图表反渲染预训练）的方法，以增强视觉语言模型在联合建模图表/曲线图和语言数据方面的能力。具体而言，我们设计了几个预训练任务，涵盖图表分解和数值推理，这些是视觉语言建模中的关键能力。MatCha预训练从最近提出的图像到文本的视觉-语言模型Pix2Struct开始。在标准基准测试如PlotQA和ChartQA上，MatCha模型的表现比现有最先进方法高出近20%。我们还考察了MatCha预训练在截图、教科书插图和文档图形等领域的迁移效果，并观察到整体性能的提升，验证了MatCha预训练在更广泛的视觉语言任务中的有效性。