4 个月前

基于傅里叶卷积的分辨率鲁棒大掩模修复

基于傅里叶卷积的分辨率鲁棒大掩模修复

摘要

现代图像修复系统尽管取得了显著进展,但在处理大面积缺失区域、复杂几何结构和高分辨率图像时仍面临诸多挑战。我们发现导致这一问题的主要原因之一是修复网络和损失函数中缺乏有效的感受野。为了解决这一问题,我们提出了一种新的方法——大掩模修复(LaMa)。LaMa 基于以下几点:i)一种新的修复网络架构,该架构使用具有全图感受野的快速傅里叶卷积(FFCs);ii)高感受野感知损失;iii)大训练掩模,这解锁了前两个组件的潜力。我们的修复网络在多个数据集上提升了现有技术水平,并且即使在具有挑战性的场景中也能表现出色,例如周期性结构的补全。我们的模型对高于训练时所见分辨率的图像具有出乎意料的良好泛化能力,并且在参数和时间成本方面低于竞争基线模型。代码可在以下网址获取:https://github.com/saic-mdal/lama。

代码仓库

saic-mdal/lama
官方
pytorch
GitHub 中提及
Moldoteck/lama
pytorch
GitHub 中提及
geekyutao/inpaint-anything
pytorch
GitHub 中提及
rawmean/lama
pytorch
GitHub 中提及
NilsBochow/lama_reconstruction
pytorch
GitHub 中提及
advimman/lama
pytorch
GitHub 中提及
haiv-lab/ospcoop_imagenet-bg
pytorch
GitHub 中提及
geomagical/lama-with-refiner
pytorch
GitHub 中提及

基准测试

基准方法指标
image-inpainting-on-celeba-hqLaMa
FID: 8.15
P-IDS: 2.07
U-IDS: 7.58
image-inpainting-on-places2-1LAMA
FID: 2.97
P-IDS: 13.09
U-IDS: 32.29
seeing-beyond-the-visible-on-kitti360-exLaMa
Average PSNR: 18.98

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于傅里叶卷积的分辨率鲁棒大掩模修复 | 论文 | HyperAI超神经