摘要

深度伪造技术虽已取得显著进展，但其对社会而言是一把双刃剑。一方面，它可用于有益场景，例如修复老电影中的经典影像内容；另一方面，也常被滥用于制造虚假视频以操纵公众舆论，或传播未经同意的色情内容。为应对这一滥用问题，研究者已开发出多种基于公开数据集和单模态深度学习模型的伪造视频检测方法，取得了良好的检测性能。然而，这些方法在应对多模态篡改（如同时涉及视觉与音频的篡改）方面仍显不足。为此，本文提出了一种新型基于唇读的多模态深度伪造检测方法——“Lip Sync Matters”（唇形同步至关重要）。该方法聚焦于高层次语义特征，通过分析视频中提取的真实唇部运动序列与由Wav2Lip模型根据音频生成的合成唇部运动序列之间的不匹配，实现对伪造视频的有效识别。实验结果表明，该方法在公开的多模态伪造视频数据集FakeAVCeleb上的表现，优于多种现有的单模态、集成及多模态检测方法。