摘要

目前，关于卷积神经网络（Convolutional Neural Networks, CNNs）的可迁移性与鲁棒性，仍存在诸多理论及实际应用层面尚未解决的关键问题。尽管当前研究正从多个角度致力于攻克这些挑战，但在大多数计算机视觉相关任务中，这些方法均可推广至对图像数据分布偏移（distribution shifts）影响的分析。在此背景下，我们提出从训练后CNN模型所学习权重的分布变化角度开展研究。本文重点关注广泛使用的3×3卷积核滤波器权重分布的特性。为此，我们收集并公开发布了一个大规模数据集，其中包含来自数百个训练好的CNN模型的超过14亿个卷积核滤波器，覆盖多种数据集、网络架构及视觉任务。该数据集为研究CNN权重分布特性提供了丰富的实证基础。在该数据集的首个应用场景中，我们揭示了大量公开预训练模型在实际应用中的若干关键性质：I）我们系统分析了在不同元参数维度（如数据集的视觉类别、任务类型、网络架构、层深度等）下，训练后滤波器分布的变化情况。基于分析结果，我们得出结论：只要目标数据集满足一定的规模与多样性条件，模型预训练便可在任意数据集上成功实现。II）我们发现，许多现有的预训练模型中存在退化（degenerated）滤波器，这类滤波器会降低模型的整体鲁棒性，并使其在下游目标任务上的微调（fine-tuning）性能受到显著影响。数据集与项目主页：https://github.com/paulgavrikov/cnn-filter-db