
摘要
这项研究旨在将草图分类任务扩展到大量类别中。收集用于训练的草图是一个缓慢且繁琐的过程,迄今为止一直阻碍了大规模草图识别的尝试。我们通过利用更容易获取的带有标签的自然图像集合来克服训练草图数据不足的问题。为了弥合领域差距,我们提出了一种专门针对从自然图像训练集中学习草图识别的新颖增强技术。在边缘检测和边缘选择的参数中引入了随机化。自然图像被转换到一个称为“随机二值细边缘”(rBTE)的伪新领域,作为替代自然图像的训练域。通过这种方法,我们展示了能够将类别数量扩大到比以往使用的多出2.5倍以上的卷积神经网络(CNN)基础的草图识别能力。为此,我们结合了多个流行的计算机视觉数据集,构建了一个包含874个类别的自然图像数据集。这些类别被选为适合草图识别的任务。为了评估性能,还收集了一个包含393个类别的子集,这些类别都配有相应的草图。
代码仓库
nikosefth/im2rbte
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-to-sketch-recognition-on-im4sketch | rBTE (ResNet101) | Accuracy: 11.3 |
| image-to-sketch-recognition-on-im4sketch | ResNet101 | Accuracy: 5.3 |
| image-to-sketch-recognition-on-pacs | rBTE (ResNet18) | Accuracy: 70.6 |
| image-to-sketch-recognition-on-sketchy | ResNet101 | Accuracy: 11.4 |
| image-to-sketch-recognition-on-sketchy | rBTE (ResNet101) | Accuracy: 57.2 |