4 个月前

FlexConv:连续核卷积与可微分核尺寸

FlexConv:连续核卷积与可微分核尺寸

摘要

在设计卷积神经网络(CNNs)时,必须在训练前选择卷积核的大小。近期的研究表明,不同层使用不同的卷积核大小可以提升CNNs的性能,但在实际应用中探索所有可能的组合是不可行的。一种更为高效的方法是在训练过程中学习卷积核的大小。然而,现有的学习卷积核大小的方法带宽有限。这些方法通过膨胀来调整卷积核的大小,因此它们所能描述的细节也受到限制。在本研究中,我们提出了一种名为FlexConv的新颖卷积操作,可以在固定参数成本下学习高带宽且可调的卷积核大小。FlexNets模型无需使用池化即可捕捉长期依赖关系,在多个序列数据集上达到了最先进的性能,超越了最近提出的具有可学习卷积核大小的工作,并且在图像基准数据集上的表现与更深的残差网络(ResNets)相当。此外,FlexNets可以在比训练过程中所见更高的分辨率下部署。为了避免混叠效应,我们提出了一种新颖的内核参数化方法,可以对内核频率进行解析控制。我们的新型内核参数化方法展示了比现有参数化方法更高的描述能力和更快的收敛速度,从而显著提高了分类准确性。

代码仓库

rjbruin/flexconv
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-classification-on-cifar-10FlexTCN-7
Percentage correct: 92.2
sequential-image-classification-on-noiseFlexTCN-6
% Test Accuracy: 69.87%
sequential-image-classification-on-sequentialFlexTCN-6
Unpermuted Accuracy: 99.62%
sequential-image-classification-on-sequentialFlexTCN-4
Permuted Accuracy: 98.72%
sequential-image-classification-on-sequential-1FlexTCN-6
Unpermuted Accuracy: 80.82%
time-series-on-speech-commandsFlexTCN-6
% Test Accuracy (Raw Data): 91.73
time-series-on-speech-commandsFlexTCN-4
% Test Accuracy: 97.73

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FlexConv:连续核卷积与可微分核尺寸 | 论文 | HyperAI超神经