3 个月前

解耦的多任务学习结合循环自调节机制用于人脸解析

解耦的多任务学习结合循环自调节机制用于人脸解析

摘要

本文深入探究了当前最先进方法在人脸解析任务中产生典型失败案例(如空间不一致性与边界混淆)的内在原因。为解决这些问题,本文提出一种新颖的解耦多任务学习与循环自调节机制(Decoupled Multi-task Learning with Cyclical Self-Regulation, DML-CSR)用于人脸解析。具体而言,DML-CSR设计了一个多任务模型,包含人脸解析、二值边缘检测和类别边缘检测三个任务。这些任务仅共享低层编码器权重,彼此之间不进行高层交互,从而在推理阶段可实现辅助模块与主网络的解耦,提升灵活性与效率。为缓解空间不一致性问题,本文提出一种动态双图卷积网络,能够在不引入任何额外池化操作的前提下,有效捕捉全局上下文信息。为应对单人与多人场景下的边界混淆问题,本文结合二值边缘与类别边缘检测,协同获取人脸的通用几何结构与细粒度语义线索,显著提升边界定位精度。此外,为防止训练过程中噪声标签对模型泛化能力的负面影响,本文提出循环自调节机制:通过交替迭代,将多个模型实例进行自集成,生成一个新模型,并利用该模型对后续模型进行自蒸馏,从而持续优化模型性能。大量实验表明,所提方法在Helen、CelebAMask-HQ和Lapa三个公开数据集上均取得了新的最先进性能。相关源代码已开源,地址为:https://github.com/deepinsight/insightface/tree/master/parsing/dml_csr。

代码仓库

基准测试

基准方法指标
face-parsing-on-celebamask-hqDML-CSR
Mean F1: 86.1
face-parsing-on-helenDML-CSR
Mean F1: 93.8
face-parsing-on-lapaDML-CSR
Mean F1: 92.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
解耦的多任务学习结合循环自调节机制用于人脸解析 | 论文 | HyperAI超神经