19 天前

DeepFont:从图像中识别您的字体

DeepFont:从图像中识别您的字体

摘要

由于字体是设计中的核心要素之一,自动从图像或照片中识别字体并提供相似字体建议,一直是众多设计师长期期待的功能。本文针对视觉字体识别(Visual Font Recognition, VFR)问题展开研究,通过构建DeepFont系统,显著推进了该领域的技术水平。首先,我们建立了首个可用的大规模VFR数据集——AdobeVFR,该数据集包含标注的合成数据以及部分标注的真实世界数据。其次,为缓解现有训练数据与测试数据之间的域差异问题,我们提出一种基于堆叠卷积自编码器(Stacked Convolutional Auto-Encoder, SCAE)的域适应技术,并结合大量未标注的真实文本图像与经过特定预处理的合成数据,构建了一种卷积神经网络(CNN)分解方法。此外,我们还提出一种新颖的基于学习的模型压缩方法,在不牺牲识别性能的前提下显著减小DeepFont模型的规模。实验结果表明,DeepFont系统在我们收集的数据集上实现了超过80%(Top-5)的识别准确率,并能有效生成字体相似性度量,支持字体选择与推荐。同时,该系统实现了约6倍的模型压缩率,且识别准确率未出现明显下降。

代码仓库

基准测试

基准方法指标
font-recognition-on-adobevfr-realDeepFont (CAE_FR)
Top 1 Accuracy: 71.42
Top 5 Accuracy: 81.79
Top 5 Error Rate: 18.21
Top-1 Error Rate: 28.58
font-recognition-on-adobevfr-synDeepFont (CAE_FR)
Top 1 Accuracy: 93.42
Top 5 Accuracy: 100
Top 5 Error Rate: 0
Top-1 Error Rate: 6.58
font-recognition-on-adobevfr-synDeepFont (S)
Top 1 Accuracy: 98.97
Top 5 Accuracy: 100
Top 5 Error Rate: 0
Top-1 Error Rate: 1.03
font-recognition-on-adobevfr-synDeepFont (F)
Top 1 Accuracy: 92.6
Top 5 Accuracy: 100
Top 5 Error Rate: 0
Top-1 Error Rate: 7.4
font-recognition-on-vfr-wildDeepFont (CAE_FR)
Top 1 Accuracy: 61.85
Top 5 Accuracy: 79.38
Top 5 Error Rate: 20.62
Top-1 Error Rate: 38.15

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DeepFont:从图像中识别您的字体 | 论文 | HyperAI超神经