摘要
检测和定位图像篡改对于防止恶意使用图像编辑技术至关重要。因此，通过分析图像中的内在统计特征来区分真实区域和篡改区域是非常必要的。我们重点关注在图像获取和编辑过程中留下的JPEG压缩伪影。我们提出了一种卷积神经网络（CNN），该网络利用离散余弦变换（DCT）系数（其中保留了压缩伪影）来定位图像篡改。标准的CNN无法学习DCT系数的分布，因为卷积操作会丢弃对DCT系数至关重要的空间坐标。我们展示了如何设计和训练一种能够学习DCT系数分布的神经网络。此外，我们引入了一种联合使用图像获取伪影和压缩伪影的压缩伪影追踪网络（CAT-Net）。该网络在检测和定位篡改区域方面显著优于传统的以及基于深度神经网络的方法。
代码仓库
mjkwon2021/cat-net
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-manipulation-detection-on-casia-v1 | CAT-Net v2 | AUC: .942 Balanced Accuracy: .838 |
| image-manipulation-detection-on-cocoglide | CAT-Net v2 | AUC: .667 Balanced Accuracy: .580 |
| image-manipulation-detection-on-columbia | CAT-Net v2 | AUC: .977 Balanced Accuracy: .803 |
| image-manipulation-detection-on-coverage | CAT-Net v2 | AUC: .680 Balanced Accuracy: .635 |
| image-manipulation-detection-on-dso-1 | CAT-Net v2 | AUC: .747 Balanced Accuracy: .525 |
| image-manipulation-localization-on-casia-v1 | CAT-Net v2 | Average Pixel F1(Fixed threshold): .752 |
| image-manipulation-localization-on-cocoglide | CAT-Net v2 | Average Pixel F1(Fixed threshold): .434 |
| image-manipulation-localization-on-columbia | CAT-Net v2 | Average Pixel F1(Fixed threshold): .859 |
| image-manipulation-localization-on-coverage | CAT-Net v2 | Average Pixel F1(Fixed threshold): .381 |
| image-manipulation-localization-on-dso-1 | CAT-Net v2 | Average Pixel F1(Fixed threshold): .584 |