3 个月前

SUNet:用于滚动快门校正的对称去畸变网络

SUNet:用于滚动快门校正的对称去畸变网络

摘要

绝大多数现代消费级相机采用滚动快门(rolling shutter)机制,当相机在图像采集过程中发生运动时,会导致图像畸变。本文提出一种新颖的深度神经网络,仅利用两帧连续图像即可解决通用的滚动快门校正问题。我们的方法采用对称性设计,旨在预测这两帧图像中间时刻所对应的全局快门图像,该时刻的相机位姿与两帧图像的位姿差异最大,因此对现有方法而言极具挑战性。首先,基于成熟的图像处理原理——分层构建、图像扭曲(warping)与代价体(cost volume)处理,我们估计出两个时间对称的稠密去畸变光流。随后,将两幅滚动快门图像分别在特征空间中扭曲至一个共同的全局快门图像空间。最后,在图像解码器中构建对称一致性约束,有效融合两幅滚动快门图像的上下文信息,从而恢复出高质量的全局快门图像。通过在公开基准数据集上的大量合成数据与真实数据实验验证,结果表明,所提出的方法在性能上显著优于现有最先进方法。

代码仓库

GitCVfb/SUNet
官方
pytorch

基准测试

基准方法指标
rolling-shutter-correction-on-bs-rscSUNet-2Frames
Average PSNR (dB): 27.76

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SUNet:用于滚动快门校正的对称去畸变网络 | 论文 | HyperAI超神经