摘要

本文提出了一种简单且通用的图像融合方法——PCT-Net，该方法可直接应用于全分辨率图像。其核心思想是训练一个参数网络，利用下采样后的输入图像来预测用于像素级色彩变换（Pixel-wise Color Transforms, PCTs）的参数，并将这些变换应用于全分辨率图像的每个像素。我们证明，仿射色彩变换在效率与效果上均表现优异，能够实现当前最优的图像融合效果。此外，我们对比了卷积神经网络（CNNs）与Transformer作为参数网络的性能，结果表明Transformer能够带来更优的融合效果。我们在公开的全分辨率iHarmony4数据集上对所提方法进行了评估，该数据集由四个子数据集组成。实验结果表明，该方法在保持轻量化架构的同时，将前景区域均方误差（fMSE）和整体均方误差（MSE）均降低了超过20%，同时峰值信噪比（PSNR）提升了1.4dB。在由20名参与者参与的用户研究中，PCT-Net在B-T评分上优于另外两种近期方法，进一步验证了其在视觉质量上的优越性。