4 个月前

堆叠密集U-Net与双Transformer结合用于鲁棒面部对齐

堆叠密集U-Net与双Transformer结合用于鲁棒面部对齐

摘要

在野外条件下捕获的图像中进行面部特征点定位是一个重要且具有挑战性的问题。当前最先进的方法主要围绕某些类型的深度卷积神经网络(DCNNs),如堆叠U-Net和Hourglass网络展开。在这项工作中,我们创新性地提出了用于此任务的堆叠密集U-Net。我们设计了一种新颖的尺度聚合网络拓扑结构和通道聚合构建模块,以提高模型容量而不牺牲计算复杂度和模型大小。通过在堆叠密集U-Net内部引入可变形卷积以及对外部数据变换使用连贯损失,我们的模型获得了对任意输入面部图像的空间不变性能力。我们在多个野外数据集上进行了大量实验,验证了所提出方法在极端姿态、夸张表情和严重遮挡条件下的鲁棒性。最后,我们展示了精确的3D面部对齐可以辅助姿态不变的人脸识别,在CFP-FP数据集上实现了新的最先进精度。

代码仓库

deepinx/SDU_face_alignment
mxnet
GitHub 中提及
deepinx/sdu-face-alignment
mxnet
GitHub 中提及

基准测试

基准方法指标
face-alignment-on-cofwDenseU-Net + Dual Transformer
NME (inter-pupil): 5.55%
face-alignment-on-ibugDenseU-Net + Dual Transformer
Mean Error Rate: 6.73%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
堆叠密集U-Net与双Transformer结合用于鲁棒面部对齐 | 论文 | HyperAI超神经