4 个月前

利用错位训练数据和网络增强的单图像反射去除

利用错位训练数据和网络增强的单图像反射去除

摘要

从玻璃窗拍摄的单张图像中去除不希望的反射对视觉计算系统具有实际重要意义。尽管现有最先进方法在某些情况下可以取得不错的效果,但在处理更普遍的真实世界案例时,性能显著下降。这些失败源于单张图像反射去除问题的固有难度——问题的基本不适定性和解决这种模糊性所需的密集标注训练数据的不足。本文通过利用有针对性的网络增强技术和新颖的错位数据使用方法来解决这些问题。对于前者,我们在基线网络架构中嵌入了上下文编码模块,这些模块能够利用高层次的情境线索减少包含强反射区域内的不确定性。对于后者,我们引入了一种对齐不变损失函数,该函数有助于利用更容易收集的错位真实世界训练数据。实验结果综合表明,我们的方法在使用对齐数据时优于现有最先进技术,并且在使用额外的错位数据时可以实现显著改进。

代码仓库

Vandermode/ERRNet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
reflection-removal-on-real20ERRNet
PSNR: 22.89
SSIM: 0.803
reflection-removal-on-sir-2-objectsERRNet
PSNR: 24.87
SSIM: 0.896
reflection-removal-on-sir-2-postcardERRNet
PSNR: 22.04
SSIM: 0.876
reflection-removal-on-sir-2-wildERRNet
PSNR: 24.25
SSIM: 0.853

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
利用错位训练数据和网络增强的单图像反射去除 | 论文 | HyperAI超神经