摘要

场景文本识别（Scene Text Recognition, STR）多年来一直是计算机视觉领域的重要研究课题。为应对这一极具挑战性的问题，研究者们相继提出了众多创新方法。近年来，将语言学知识融入STR模型已成为一个显著趋势。在本工作中，我们首先受到视觉Transformer（Vision Transformer, ViT）近期进展的启发，构建了一种概念简洁但性能强大的视觉STR模型。该模型基于ViT架构，其性能超越了此前所有先进的STR方法，包括纯视觉模型以及语言增强型方法。为进一步融合语言学知识，我们提出了一种多粒度预测（Multi-Granularity Prediction, MGP）策略，以隐式方式将语言模态的信息注入模型：在传统的字符级输出表示之外，引入自然语言处理中广泛使用的子词表示（如BPE和WordPiece）作为输出空间的一部分，而无需依赖独立的语言模型（Language Model, LM）。由此提出的算法（命名为MGP-STR）显著提升了STR的性能上限，在标准基准测试上实现了93.35%的平均识别准确率。相关代码已开源，地址为：https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/MGP-STR。