4 个月前

SMPConv:连续卷积的自移动点表示方法

SMPConv:连续卷积的自移动点表示方法

摘要

连续卷积最近因其处理非规则采样数据和建模长程依赖关系的能力而受到广泛关注。此外,使用大卷积核的实验结果令人鼓舞,这促进了连续卷积的发展,因为它们可以非常高效地构建大核。目前,利用神经网络,特别是多层感知器(MLP),是最常见的实现连续卷积的方法。然而,这种方法存在一些缺点,如计算成本高、超参数调整复杂以及滤波器描述能力有限。本文提出了一种不依赖神经网络的连续卷积构建方法,从而实现了更高的计算效率和性能提升。我们介绍了自移动点表示法,其中权重参数可以自由移动,并使用插值方案来实现连续函数。当应用于构建卷积核时,实验结果显示在现有框架中直接替换的情况下性能有所提高。由于其轻量级结构,我们在大规模场景下首次展示了连续卷积的有效性,例如在ImageNet上展示了相对于先前技术的改进。我们的代码已发布在 https://github.com/sangnekim/SMPConv 上。

代码仓库

sangnekim/smpconv
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
sequential-image-classification-on-sequentialSMPConv
Permuted Accuracy: 99.10
Unpermuted Accuracy: 99.75
sequential-image-classification-on-sequential-1SMPConv
Unpermuted Accuracy: 84.86%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SMPConv:连续卷积的自移动点表示方法 | 论文 | HyperAI超神经