4 个月前

面向非线性运动感知和遮挡鲁棒的滚动快门校正

面向非线性运动感知和遮挡鲁棒的滚动快门校正

摘要

本文针对复杂非线性和动态场景中存在极端遮挡的卷帘快门校正问题进行了研究。现有方法主要存在两个缺点。首先,由于假设像素运动速度均匀,这些方法在估计精确校正场时面临挑战,导致在复杂运动情况下图像校正误差显著。其次,动态场景中的剧烈遮挡使得当前解决方案难以实现更好的图像质量,因为多帧对齐和聚合本身存在固有的困难。为了解决这些问题,我们对像素的曲线轨迹进行了分析建模,并提出了一种基于几何的二次卷帘快门(QRS)运动求解器,该求解器能够精确估计每个像素的高阶校正场。此外,为了在动态场景中重建高质量的遮挡帧,我们设计了一种有效的多帧上下文对齐和聚合的3D视频架构,即RSA2-Net。我们在多种相机和视频序列上评估了我们的方法,展示了其显著的优势。具体而言,我们的方法在Carla-RS、Fastec-RS和BS-RSC数据集上的PSNR分别超过了现有最先进方法4.98、0.77和4.33分。代码可在https://github.com/DelinQu/qrsc 获取。

代码仓库

delinqu/qrsc
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
rolling-shutter-correction-on-bs-rscQRSC-5Frames
Average PSNR (dB): 33.50

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向非线性运动感知和遮挡鲁棒的滚动快门校正 | 论文 | HyperAI超神经