
摘要
在设计卷积神经网络(CNNs)时,必须在训练前选择卷积核的大小。近期的研究表明,不同层使用不同的卷积核大小可以提升CNNs的性能,但在实际应用中探索所有可能的组合是不可行的。一种更为高效的方法是在训练过程中学习卷积核的大小。然而,现有的学习卷积核大小的方法带宽有限。这些方法通过膨胀来调整卷积核的大小,因此它们所能描述的细节也受到限制。在本研究中,我们提出了一种名为FlexConv的新颖卷积操作,可以在固定参数成本下学习高带宽且可调的卷积核大小。FlexNets模型无需使用池化即可捕捉长期依赖关系,在多个序列数据集上达到了最先进的性能,超越了最近提出的具有可学习卷积核大小的工作,并且在图像基准数据集上的表现与更深的残差网络(ResNets)相当。此外,FlexNets可以在比训练过程中所见更高的分辨率下部署。为了避免混叠效应,我们提出了一种新颖的内核参数化方法,可以对内核频率进行解析控制。我们的新型内核参数化方法展示了比现有参数化方法更高的描述能力和更快的收敛速度,从而显著提高了分类准确性。
代码仓库
rjbruin/flexconv
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-classification-on-cifar-10 | FlexTCN-7 | Percentage correct: 92.2 |
| sequential-image-classification-on-noise | FlexTCN-6 | % Test Accuracy: 69.87% |
| sequential-image-classification-on-sequential | FlexTCN-6 | Unpermuted Accuracy: 99.62% |
| sequential-image-classification-on-sequential | FlexTCN-4 | Permuted Accuracy: 98.72% |
| sequential-image-classification-on-sequential-1 | FlexTCN-6 | Unpermuted Accuracy: 80.82% |
| time-series-on-speech-commands | FlexTCN-6 | % Test Accuracy (Raw Data): 91.73 |
| time-series-on-speech-commands | FlexTCN-4 | % Test Accuracy: 97.73 |