3 个月前

基于异质过滤频谱提示的图像补全

基于异质过滤频谱提示的图像补全

摘要

在计算机视觉领域,针对大范围自由形状缺失区域的图像补全任务仍是极具挑战性的难题。尽管研究人员不断探索更优的解决方案,但现有方法仍普遍存在模式感知不足、纹理模糊以及结构失真等问题,亟待进一步改进。为应对这些挑战,本文提出一种基于StyleGAN的新型图像补全网络——频谱提示生成对抗网络(Spectral Hint GAN, SH-GAN),其中引入了一个精心设计的频谱处理模块——频谱提示单元(Spectral Hint Unit)。此外,我们还提出两种新颖的二维频谱处理策略:异质滤波(Heterogeneous Filtering)与高斯分裂(Gaussian Split),二者均与现代深度学习模型高度兼容,且具备向其他任务拓展的潜力。通过广泛的实验验证,我们的模型在基准数据集FFHQ和Places2上分别取得了3.4134和7.0277的FID分数,显著优于现有方法,达到当前最先进的性能水平。消融实验进一步证明了所提设计的有效性,结果显示,前述关键问题——如模式感知缺失、纹理模糊及结构失真等——均得到了明显缓解。相关代码将开源,地址为:https://github.com/SHI-Labs/SH-GAN。

代码仓库

shi-labs/sh-gan
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-inpainting-on-ffhq-512-x-512SH-GAN
FID: 3.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于异质过滤频谱提示的图像补全 | 论文 | HyperAI超神经