摘要

尽管当前基于深度学习的面部伪造检测器在受控场景中取得了令人印象深刻的表现，但它们对于未见过的操纵方法生成的样本仍然很脆弱。一些最近的研究显示了在泛化能力方面的改进，但这些改进依赖于容易被常见后处理操作（如压缩）破坏的线索。本文提出了一种名为LipForensics的检测方法，该方法不仅能够泛化到新的操纵手段，还能抵抗各种失真。LipForensics针对的是嘴部运动中的高层次语义异常，这种异常在许多生成视频中普遍存在。该方法首先预训练一个时空网络以执行视觉语音识别（唇读），从而学习与自然嘴部运动相关的丰富内部表示。随后，通过在真实数据和伪造数据的固定嘴部嵌入上微调时间网络，以基于嘴部运动检测假视频，而不会过度拟合到低层次、特定于操纵的方法产生的伪影。广泛的实验表明，这一简单的方法在泛化到未见过的操纵手段和对扰动的鲁棒性方面显著超越了现有技术水平，并揭示了影响其性能的因素。代码已在GitHub上公开。