3 个月前

基于简单基础帧引导的残差网络用于RAW突发图像超分辨率

基于简单基础帧引导的残差网络用于RAW突发图像超分辨率

摘要

近年来,爆发式超分辨率(Burst Super-Resolution)或称多帧超分辨率(Multi-Frame Super-Resolution, MFSR)在移动摄影领域受到广泛关注。随着现代手持设备持续提升其计算能力,并具备以更快速度捕获多帧图像的能力,开发鲁棒的MFSR算法变得日益可行。与广泛研究的单图像超分辨率(Single-Image Super-Resolution, SISR)不同,MFSR通过融合多帧之间存在空间偏移的信息,有效缓解了从低分辨率图像重建高分辨率图像所面临的病态逆问题。本研究提出了一种新颖且高效的深度学习方法——SBFBurst,旨在解决这一具有挑战性的任务。所提出的网络以多张含噪RAW图像作为输入,输出为去噪后的超分辨率RGB图像。实验表明,通过引入基于基准帧引导机制(如特征图拼接与跳跃连接等操作),可在该任务中实现显著性能提升。此外,本文还强调了采用马赛克卷积(Mosaicked Convolution)对齐策略的重要性,该方法显著提升了网络在超分辨率任务中的整体表现。这些相对简单的改进,充分体现了所提出方法在与现有最先进方法对比时的竞争力。

基准测试

基准方法指标
burst-image-super-resolution-onSBFBurst
LPIPS: 0.036
PSNR: 42.19
SSIM: 0.968
burst-image-super-resolution-on-burstsrSBFBurst
LPIPS: 0.022
PSNR: 48.87
SSIM: 0.987

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于简单基础帧引导的残差网络用于RAW突发图像超分辨率 | 论文 | HyperAI超神经