3 个月前

FF-Former:用于夜间耀斑去除的Swin Fourier Transformer

FF-Former:用于夜间耀斑去除的Swin Fourier Transformer

摘要

在去除夜间耀斑的过程中,由于耀斑可能占据图像的较大区域,甚至覆盖整个图像,因此具备大感受野至关重要。然而,传统的基于窗口的Transformer方法受限于窗口范围,其感受野被局限在局部区域内,难以有效捕捉全局特征。此外,耀斑会导致图像暗部区域变亮,造成对比度下降以及图像频域特性的改变。为应对上述挑战,本文提出FF-Former,该方法基于快速傅里叶卷积(Fast Fourier Convolution, FFC),旨在提取全局频域特征,以提升夜间耀斑去除的效果。为实现这一目标,我们在Swin Transformer之后引入了空间频域块(Spatial Frequency Block, SFB),构成Swin傅里叶Transformer块(Swin Fourier Transformer Block, SFTB)。该结构能够建立长距离依赖关系,并有效提取全局特征。与传统Transformer依赖全局自注意力机制不同,SFB模块仅通过卷积运算完成特征提取,兼具高效性与有效性。此外,在训练阶段,我们优化了损失函数,以确保去除耀斑后仍能保留光源点的完整性。在真实场景与合成数据集上的实验结果表明,所提出的FF-Former显著提升了夜间耀斑去除的性能。

基准测试

基准方法指标
flare-removal-on-flare7kFF-Former
LPIPS: 0.044
PSNR: 27.35
SSIM: 0.901

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FF-Former:用于夜间耀斑去除的Swin Fourier Transformer | 论文 | HyperAI超神经