3 个月前

星光下的舞动:星光条件下的视频去噪

星光下的舞动:星光条件下的视频去噪

摘要

在极低光照条件下进行成像极具挑战性,主要原因是光子数量极少。目前,借助高灵敏度的CMOS相机,已可实现月光照明(照度约为0.05–0.3勒克斯)下的夜间视频拍摄。本文首次实现了在星光照明条件下(无月光,照度低于0.001勒克斯)的逼真视频成像。为实现这一目标,我们提出了一种经GAN(生成对抗网络)优化的物理驱动型噪声模型,能够更精确地表征极低光照条件下的相机噪声。基于该噪声模型,我们结合模拟的噪声视频片段与真实的噪声静态图像,训练了一种视频去噪算法。我们采集了一组帧率在5–10 fps之间的视频数据集,其中包含显著运动,拍摄环境照度约为0.6–0.7毫勒克斯,且未使用任何主动光源。与现有方法相比,本方法在最低光照条件下显著提升了视频质量,首次实现了星光环境下逼真视频去噪,具有重要的技术突破意义。

基准测试

基准方法指标
image-denoising-on-eld-sonya7s2-x100Starlight
PSNR (Raw): 43.80
SSIM (Raw): 0.936
image-denoising-on-eld-sonya7s2-x200Starlight
PSNR (Raw): 40.86
SSIM (Raw): 0.884
image-denoising-on-sid-sonya7s2-x250Starlight
PSNR (Raw): 36.25
SSIM (Raw): 0.858
image-denoising-on-sid-x100Starlight
PSNR (Raw): 40.47
SSIM: 0.926
image-denoising-on-sid-x300Starlight
PSNR (Raw): 32.99
SSIM: 0.780

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
星光下的舞动:星光条件下的视频去噪 | 论文 | HyperAI超神经