3 个月前

基于序列生成的统一场景文本定位与识别

基于序列生成的统一场景文本定位与识别

摘要

近年来,序列生成模型在统一多种视觉任务方面取得了显著进展。尽管部分自回归模型在端到端文本检测任务中已展现出良好性能,但其通常采用特定的检测格式,忽视了文本的多样化形状,且在可检测文本实例的最大数量上存在局限。为克服上述限制,本文提出一种统一的场景文本检测模型——UNITS(UNIfied scene Text Spotter)。该模型统一了多种检测格式,包括四边形和多边形,能够检测任意形状的文本。此外,我们引入起始点提示(starting-point prompting)机制,使模型可从任意起始位置提取文本,从而实现超出训练时所限定实例数量的文本提取。实验结果表明,所提方法在性能上达到与当前最先进方法相媲美的水平。进一步分析显示,UNITS能够提取的文本数量超过其训练时的实例上限。相关代码已开源,地址为:https://github.com/clovaai/units。

代码仓库

clovaai/units
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
text-spotting-on-icdar-2015UNITS
F-measure (%) - Generic Lexicon: 80.3
F-measure (%) - Strong Lexicon: 89.0
F-measure (%) - Weak Lexicon: 84.1
text-spotting-on-total-textUNITS
F-measure (%) - Full Lexicon: 86.0
F-measure (%) - No Lexicon: 78.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于序列生成的统一场景文本定位与识别 | 论文 | HyperAI超神经