摘要

本文介绍了一种名为TruFor的法医框架，该框架适用于从经典廉价伪造图像到基于深度学习的最新图像操纵方法等多种图像处理技术。我们通过基于变压器的融合架构提取高级和低级痕迹，该架构结合了RGB图像和一种学习到的噪声敏感指纹。后者仅在真实数据上以自监督的方式训练，学会嵌入与相机内部和外部处理相关的伪影。伪造图像被检测为与每个原始图像预期的正常模式之间的偏差。寻找异常使这种方法能够稳健地检测各种局部操纵，确保其泛化能力。除了像素级别的定位图和整张图像的完整性评分外，我们的方法还输出一个可靠性图，突出显示可能预测错误的区域。这在法医应用中尤为重要，有助于减少误报并实现大规模分析。我们在多个数据集上进行了广泛的实验，结果表明我们的方法能够可靠地检测和定位廉价伪造（cheapfakes）和深度伪造（deepfakes）图像操纵，优于现有最先进方法。代码已公开发布于https://grip-unina.github.io/TruFor/