摘要

联合滚动快门校正与去模糊（RSCD）技术对于当前广泛使用的CMOS图像传感器相机至关重要。然而，现有的方法仍基于传统的能量优化框架，且主要针对静态场景设计。为推动基于学习的方法解决真实世界中的RSCD问题，本文首次提出一个名为BS-RSCD的动态场景数据集，该数据集同时包含相机自身运动（ego-motion）与物体运动（object-motion）信息。通过基于分束器的采集系统，我们同步记录了真实场景中存在畸变与模糊的视频序列及其对应的高质量真值（ground truth）。由于现有独立的滚动快门校正（RSC）或全局快门去模糊（GSD）方法在直接应用于RSCD任务时，受限于网络架构的固有缺陷，往往产生不理想的结果，因此本文进一步提出首个面向RSCD的端到端学习模型——JCD（Joint Correction and Deblurring）。其核心思想在于：采用双向光流变形（bi-directional warping）流进行运动位移补偿，同时保留未变形的去模糊流以有效恢复图像细节。实验结果表明，JCD在真实RSCD数据集（BS-RSCD）以及合成RSC数据集（Fastec-RS）上均达到了当前最优性能。相关数据集与代码已开源，可访问 https://github.com/zzh-tech/RSCD。