3 个月前

面向在线社交网络共享图像的鲁棒图像伪造检测

面向在线社交网络共享图像的鲁棒图像伪造检测

摘要

图像编辑软件(如Photoshop和美图秀秀)的滥用,使得数字图像的真实性日益受到质疑。与此同时,在线社交网络(OSNs)的广泛普及,使其成为传播伪造图像、制造虚假新闻和散布谣言的主要渠道。然而,OSNs普遍采用的各类有损操作(如压缩和缩放)给图像伪造检测技术的鲁棒性带来了巨大挑战。为应对OSNs共享环境下的伪造图像问题,本文提出了一种新颖的鲁棒训练机制。首先,我们对OSNs引入的噪声进行了深入分析,并将其解耦为两类:可预测噪声与不可见噪声,分别进行建模。前者用于模拟OSNs中已知(公开)操作所引入的噪声,后者则不仅补充了前者的不足,还考虑了检测器自身可能存在的缺陷。随后,我们将建模后的噪声引入鲁棒训练框架,显著提升了图像伪造检测器的鲁棒性能。大量实验结果表明,所提方法在多项指标上均优于现有多种先进方法。最后,为推动图像伪造检测技术的进一步发展,我们基于四个现有数据集和三大主流在线社交网络,构建了一个公开的伪造图像数据集。所设计的检测器已在近期举办的证书伪造检测竞赛中荣获第一名。相关源代码与数据集已开源,地址为:https://github.com/HighwayWu/ImageForensicsOSN。

基准测试

基准方法指标
image-manipulation-detection-on-casia-osnWu22
AUC: 0.862
F-score: 0.462
Intersection over Union: 0.417
image-manipulation-detection-on-casia-osn-1Wu22
AUC: 0.833
Intersection over Union: 0.405
f-Score: 0.358
image-manipulation-detection-on-casia-osn-2Wu22
AUC: 0.866
Intersection over Union: 0.431
f-Score: 0.478
image-manipulation-detection-on-casia-osn-3Wu22
AUC: 0.858
Intersection over Union: 0.421
f-Score: 0.466
image-manipulation-detection-on-columbia-osnWu22
AUC: 0.883
Intersection over Union: 0.611
f-Score: 0.714
image-manipulation-detection-on-columbia-osn-1Wu22
AUC: 0.883
Intersection over Union: 0.631
f-Score: 0.727
image-manipulation-detection-on-columbia-osn-2Wu22
AUC: 0.889
Intersection over Union: 0.628
f-Score: 0.727
image-manipulation-detection-on-columbia-osn-3Wu22
AUC: 0.883
Intersection over Union: 0.626
f-Score: 0.724
image-manipulation-detection-on-dso-osnWu22
AUC: 0.859
Intersection over Union: 0.320
f-Score: 0.447
image-manipulation-detection-on-dso-osn-1Wu22
AUC: 0.823
Intersection over Union: 0.252
f-Score: 0.366
image-manipulation-detection-on-dso-osn-2Wu22
AUC: 0.839
Intersection over Union: 0.233
f-Score: 0.341
image-manipulation-detection-on-dso-osn-3Wu22
AUC: 0.808
Intersection over Union: 0.253
f-Score: 0.370
image-manipulation-detection-on-nist-osnWu22
AUC: 0.783
Intersection over Union: 0.253
f-Score: 0.329
image-manipulation-detection-on-nist-osn-1Wu22
AUC: 0.764
Intersection over Union: 0.214
f-Score: 0.286
image-manipulation-detection-on-nist-osn-2Wu22
AUC: 0.785
Intersection over Union: 0.239
f-Score: 0.313
image-manipulation-detection-on-nist-osn-3Wu22
AUC: 0.780
Intersection over Union: 0.219
f-Score: 0.294

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向在线社交网络共享图像的鲁棒图像伪造检测 | 论文 | HyperAI超神经