HyperAIHyperAI

Command Palette

Search for a command to run...

场景文本识别的多粒度预测

Peng Wang Cheng Da Cong Yao

摘要

场景文本识别(Scene Text Recognition, STR)多年来一直是计算机视觉领域的重要研究课题。为应对这一极具挑战性的问题,研究者们相继提出了众多创新方法。近年来,将语言学知识融入STR模型已成为一个显著趋势。在本工作中,我们首先受到视觉Transformer(Vision Transformer, ViT)近期进展的启发,构建了一种概念简洁但性能强大的视觉STR模型。该模型基于ViT架构,其性能超越了此前所有先进的STR方法,包括纯视觉模型以及语言增强型方法。为进一步融合语言学知识,我们提出了一种多粒度预测(Multi-Granularity Prediction, MGP)策略,以隐式方式将语言模态的信息注入模型:在传统的字符级输出表示之外,引入自然语言处理中广泛使用的子词表示(如BPE和WordPiece)作为输出空间的一部分,而无需依赖独立的语言模型(Language Model, LM)。由此提出的算法(命名为MGP-STR)显著提升了STR的性能上限,在标准基准测试上实现了93.35%的平均识别准确率。相关代码已开源,地址为:https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/MGP-STR


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供