3 个月前

面向人脸分割的边缘感知图表示学习与推理

面向人脸分割的边缘感知图表示学习与推理

摘要

面部解析旨在为面部每一像素分配对应的语义标签,近年来受到广泛关注。现有方法在面部解析任务中表现出较高的效率,但普遍忽略了不同面部区域之间的内在关联。事实上,这种区域间的关联蕴含着关于面部外观、姿态、表情等关键信息,是提升解析精度的重要线索,应在建模过程中予以充分考虑。为此,本文提出通过学习图结构表示来建模并推理区域间的空间关系,并利用区域间的边信息实现更优的特征抽象。具体而言,我们将一张面部图像编码为全局图结构表示,其中具有相似特征的像素集合(即“区域”)被映射至图的各个顶点。在此图结构上,通过顶点间的特征传播机制,模型能够学习并推理不同区域之间的关系。此外,我们引入边信息,用于将像素级特征聚合至顶点,从而强化边缘区域的特征表达,提升沿边界处的细粒度分割能力。最终,所学习到的图表示被解码回像素网格,用于生成精细的面部解析结果。实验结果表明,本方法在广泛使用的Helen数据集上优于现有最先进方法,在大规模数据集CelebAMask-HQ和LaPa上也展现出卓越的性能。代码已开源,地址为:https://github.com/tegusi/EAGRNet。

代码仓库

tegusi/EAGRNet
官方
pytorch

基准测试

基准方法指标
face-parsing-on-celebamask-hqEAGR
Mean F1: 85.1
face-parsing-on-lapaEAGR
Mean F1: 91.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向人脸分割的边缘感知图表示学习与推理 | 论文 | HyperAI超神经