DouzeMatthijs ; ToliasGiorgos ; PizziEd ; PapakiposZoë ; ChanussotLowik ; RadenovicFilip ; JenicekTomas ; MaximovMaxim ; Leal-TaixéLaura ; EleziIsmail ; ChumOndřej ; FerrerCristian Canton

摘要
本文介绍了一项用于大规模图像相似性检测的新基准测试。该基准测试被用于在 NeurIPS'21(ISC2021)举办的图像相似性挑战赛中。其目标是确定查询图像是否为参考图像库中任何一张图像的修改副本,参考图像库包含约 100 万张图像。基准测试涵盖了多种图像变换,包括自动化变换、手工编辑的图像修改以及基于机器学习的操纵。这模拟了社交媒体中出现的实际案例,例如处理与完整性相关的问题,如虚假信息和不当内容。图像操纵的强度以及因此带来的基准测试难度,根据一组基线方法的性能进行了校准。查询集和参考集中大部分为“干扰”图像,这些图像是不匹配的,这对应于现实生活中的大海捞针场景,评估指标也反映了这一点。我们期望 DISC21 基准测试能够促进图像复制检测作为一项重要且具有挑战性的计算机视觉任务,并推动该领域的最新进展。代码和数据可在 https://github.com/facebookresearch/isc2021 获取。
代码仓库
facebookresearch/isc2021
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-similarity-detection-on-disc21-dev | GIST PCA 256 | dimension: 256 hardware: CPU, 2.2 GHz, 40 threads w/o normalization: 15.56 |
| image-similarity-detection-on-disc21-dev | GIST 960 dim | Time (ms): 0.55 dimension: 960 hardware: CPU, 2.2 GHz, 40 threads w/o normalization: 14.42 |
| image-similarity-detection-on-disc21-dev | HOW+ASMK | Time (ms): 150 hardware: Tesla P-100 w/o normalization: 17.32 with normalization: 37.15 |
| image-similarity-detection-on-disc21-dev | Multigrain 1500 dim | Time (ms): 23 dimension: 1500 hardware: Tesla V100 w/o normalization: 16.47 with normalization: 36.42 |