摘要

研究表明，视障用户在其周围环境图像中提出的问题主要涉及读取图像中的文字。然而，当前的视觉问答（VQA）模型却无法识别文字！我们的论文首次尝试解决这一问题。首先，我们引入了一个新的“TextVQA”数据集，以促进在这一重要问题上的进展。现有的数据集要么关于文字的问题比例较小（例如，VQA数据集），要么规模太小（例如，VizWiz数据集）。TextVQA包含28,408张图像中的45,336个问题，这些问题需要通过推理文字来回答。其次，我们提出了一种新颖的模型架构，该架构可以读取图像中的文字，在图像和问题的上下文中进行推理，并预测一个答案，这个答案可能是基于文字和图像的推断结果，也可能是由图像中找到的字符串组成。因此，我们将这种方法称为“观察、阅读、推理与回答”（Look, Read, Reason & Answer, LoRRA）。我们展示了LoRRA在我们的TextVQA数据集上优于现有的最先进VQA模型。我们发现，在TextVQA上的人类表现与机器表现之间的差距明显大于在VQA 2.0上的差距，这表明TextVQA非常适合用于评估与VQA 2.0互补方向上的进展。