HyperAIHyperAI

Command Palette

Search for a command to run...

基于扩散Transformer的全局与局部专家混合模型实现可控人脸生成

Xuechao Zou Shun Zhang Xing Fu Yue Li Kai Li Yushe Cao Congyan Lang Pin Tao Junliang Xing

Abstract

可控人脸生成在生成建模中面临重大挑战,原因在于语义可控性与照片级真实感之间需要精细平衡。现有方法在将语义控制与生成流程解耦方面仍存在困难。本文从专家专精的角度重新审视了扩散Transformer(DiTs)的架构潜力。本文提出一种名为Face-MoGLE的新框架,其主要特点包括:(1)通过掩码条件下的潜在空间因子分解实现语义解耦的潜在建模,从而支持精确的属性操控;(2)融合全局专家与局部专家的混合结构,能够同时捕捉整体结构与区域级语义信息,实现细粒度的可控生成;(3)设计动态门控网络,生成随扩散步骤和空间位置动态演化的时变系数。Face-MoGLE为高质量、可控的人脸生成提供了一种强大且灵活的解决方案,在生成建模与安全应用方面具有广阔前景。大量实验表明,该方法在多模态与单模态人脸生成场景中均表现出优异性能,并具备强大的零样本泛化能力。项目主页详见:https://github.com/XavierJiezou/Face-MoGLE


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于扩散Transformer的全局与局部专家混合模型实现可控人脸生成 | Papers | HyperAI超神经