摘要

深度伪造（deepfakes，由“深度学习”与“伪造”组合而成）是指通过人工智能算法生成的合成视频。尽管这类技术在娱乐领域具有一定应用价值，但也可能被滥用于伪造演讲内容或传播虚假信息。生成深度伪造视频的过程通常涉及视觉与听觉两个模态的协同篡改。目前，针对视觉深度伪造的检测已催生出多种检测方法及相应数据集，而对音频深度伪造（如基于文本转语音或语音转换系统的合成语音）的研究，以及视觉与听觉模态之间关联性的探索则相对不足。本文提出了一种新型的视觉/听觉深度伪造联合检测任务，证明了利用视觉与听觉模态之间的内在同步性，能够有效提升深度伪造检测的性能。实验结果表明，所提出的联合检测框架在检测准确率上优于独立训练的模型，同时在面对未见过的深度伪造类型时展现出更强的泛化能力。