
摘要
本文深入探究了当前最先进方法在人脸解析任务中产生典型失败案例(如空间不一致性与边界混淆)的内在原因。为解决这些问题,本文提出一种新颖的解耦多任务学习与循环自调节机制(Decoupled Multi-task Learning with Cyclical Self-Regulation, DML-CSR)用于人脸解析。具体而言,DML-CSR设计了一个多任务模型,包含人脸解析、二值边缘检测和类别边缘检测三个任务。这些任务仅共享低层编码器权重,彼此之间不进行高层交互,从而在推理阶段可实现辅助模块与主网络的解耦,提升灵活性与效率。为缓解空间不一致性问题,本文提出一种动态双图卷积网络,能够在不引入任何额外池化操作的前提下,有效捕捉全局上下文信息。为应对单人与多人场景下的边界混淆问题,本文结合二值边缘与类别边缘检测,协同获取人脸的通用几何结构与细粒度语义线索,显著提升边界定位精度。此外,为防止训练过程中噪声标签对模型泛化能力的负面影响,本文提出循环自调节机制:通过交替迭代,将多个模型实例进行自集成,生成一个新模型,并利用该模型对后续模型进行自蒸馏,从而持续优化模型性能。大量实验表明,所提方法在Helen、CelebAMask-HQ和Lapa三个公开数据集上均取得了新的最先进性能。相关源代码已开源,地址为:https://github.com/deepinsight/insightface/tree/master/parsing/dml_csr。
代码仓库
deepinsight/insightface
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| face-parsing-on-celebamask-hq | DML-CSR | Mean F1: 86.1 |
| face-parsing-on-helen | DML-CSR | Mean F1: 93.8 |
| face-parsing-on-lapa | DML-CSR | Mean F1: 92.4 |