
摘要
由于字体是设计中的核心要素之一,自动从图像或照片中识别字体并提供相似字体建议,一直是众多设计师长期期待的功能。本文针对视觉字体识别(Visual Font Recognition, VFR)问题展开研究,通过构建DeepFont系统,显著推进了该领域的技术水平。首先,我们建立了首个可用的大规模VFR数据集——AdobeVFR,该数据集包含标注的合成数据以及部分标注的真实世界数据。其次,为缓解现有训练数据与测试数据之间的域差异问题,我们提出一种基于堆叠卷积自编码器(Stacked Convolutional Auto-Encoder, SCAE)的域适应技术,并结合大量未标注的真实文本图像与经过特定预处理的合成数据,构建了一种卷积神经网络(CNN)分解方法。此外,我们还提出一种新颖的基于学习的模型压缩方法,在不牺牲识别性能的前提下显著减小DeepFont模型的规模。实验结果表明,DeepFont系统在我们收集的数据集上实现了超过80%(Top-5)的识别准确率,并能有效生成字体相似性度量,支持字体选择与推荐。同时,该系统实现了约6倍的模型压缩率,且识别准确率未出现明显下降。
代码仓库
robinreni96/Font_Recognition-DeepFont
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| font-recognition-on-adobevfr-real | DeepFont (CAE_FR) | Top 1 Accuracy: 71.42 Top 5 Accuracy: 81.79 Top 5 Error Rate: 18.21 Top-1 Error Rate: 28.58 |
| font-recognition-on-adobevfr-syn | DeepFont (CAE_FR) | Top 1 Accuracy: 93.42 Top 5 Accuracy: 100 Top 5 Error Rate: 0 Top-1 Error Rate: 6.58 |
| font-recognition-on-adobevfr-syn | DeepFont (S) | Top 1 Accuracy: 98.97 Top 5 Accuracy: 100 Top 5 Error Rate: 0 Top-1 Error Rate: 1.03 |
| font-recognition-on-adobevfr-syn | DeepFont (F) | Top 1 Accuracy: 92.6 Top 5 Accuracy: 100 Top 5 Error Rate: 0 Top-1 Error Rate: 7.4 |
| font-recognition-on-vfr-wild | DeepFont (CAE_FR) | Top 1 Accuracy: 61.85 Top 5 Accuracy: 79.38 Top 5 Error Rate: 20.62 Top-1 Error Rate: 38.15 |