HyperAIHyperAI

Command Palette

Search for a command to run...

SimSwap:一种高效的高保真人脸交换框架

Renwang Chen Xuanhong Chen Bingbing Ni Yanhao Ge

摘要

我们提出了一种高效且通用的面部交换框架,名为 Simple Swap(SimSwap),旨在实现广泛适用且高保真的面部替换。与以往方法相比,这些方法或无法泛化至任意身份,或难以保留诸如面部表情和视线方向等关键属性,而我们的框架能够在将任意源面部的身份信息迁移至任意目标面部的同时,完整保留目标面部的原有属性。为克服上述缺陷,我们从以下两个方面进行了改进:首先,我们提出了身份注入模块(ID Injection Module, IIM),该模块在特征层面将源面部的身份信息迁移至目标面部。通过该模块,我们将原本仅适用于特定身份的面部交换算法架构,拓展为支持任意身份交换的通用框架。其次,我们设计了弱特征匹配损失(Weak Feature Matching Loss),以高效且隐式的方式帮助模型更好地保持面部属性。在真实场景(wild faces)下的大量实验表明,SimSwap 在身份迁移性能上达到与当前最先进方法相当的水平,同时在属性保留方面显著优于现有方法。代码已开源,可访问 GitHub 获取:https://github.com/neuralchen/SimSwap


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SimSwap:一种高效的高保真人脸交换框架 | 论文 | HyperAI超神经