4 个月前

基于注意力机制的面部标志引导的人脸超分辨率重建

基于注意力机制的面部标志引导的人脸超分辨率重建

摘要

面部超分辨率(Face Super-Resolution, SR)是超分辨率领域的一个子领域,专门针对面部图像的重建。面部超分辨率的主要挑战是在不失真的情况下恢复关键的面部特征。本文提出了一种新的面部超分辨率方法,该方法能够生成具有完全保留面部细节的8倍超分辨率照片级逼真面部图像。为此,我们采用了渐进式训练方法,通过将网络分成连续的步骤来实现稳定训练,每一步都会产生逐渐提高分辨率的输出。此外,我们还提出了一种新颖的面部注意力损失函数,并在每个步骤中应用该函数,以通过像素差异和热图值的乘积来更加细致地恢复面部属性。最后,我们提出了一种压缩版的状态-of-the-art 面部对齐网络(Facial Alignment Network, FAN),用于提取地标热图。利用所提出的FAN,我们可以提取适用于面部超分辨率的热图,并减少整体训练时间。实验结果验证了我们的方法在定性和定量评估方面均优于现有最先进方法,尤其是在感知质量方面表现突出。

代码仓库

基准测试

基准方法指标
face-alignment-on-celeba-aflw-unalignedProgressive Face SR
MOS: 3.73
MS-SSIM: 0.897
PSNR: 22.96
SSIM: 0.695
face-alignment-on-celeba-alignedProgressive Face SR
MOS: 3.73
MS-SSIM: 0.902
PSNR: 22.66
SSIM: 0.685

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于注意力机制的面部标志引导的人脸超分辨率重建 | 论文 | HyperAI超神经