3 个月前

A2dele:用于高效RGB-D显著目标检测的自适应注意力深度蒸馏方法

A2dele:用于高效RGB-D显著目标检测的自适应注意力深度蒸馏方法

摘要

现有的最先进RGB-D显著目标检测方法普遍采用双流架构来处理RGB-D数据,即需要独立的子网络专门处理深度信息。这种设计不可避免地带来额外的计算开销与内存消耗,且在测试阶段依赖深度数据也限制了RGB-D显著性检测在实际应用中的推广。为解决上述两大难题,本文提出一种深度知识蒸馏模块——A2dele,通过网络预测与注意力机制作为两个桥梁,实现深度流到RGB流的知识迁移。首先,通过自适应地最小化深度流与RGB流生成的预测结果之间的差异,实现对像素级深度知识向RGB流有效传递的精准控制;其次,为将定位知识传递至RGB特征,我们促使深度流的空洞预测结果与RGB流的注意力图之间保持一致性。由此,我们构建了一种轻量化架构,在测试阶段完全无需使用深度数据。在五个基准数据集上的大量实验表明,所提出的RGB流在性能上达到当前最先进水平,相较最优基线方法,模型规模显著缩小76%,推理速度提升12倍。此外,A2dele可无缝集成至现有RGB-D网络中,在保持原有性能的前提下大幅提升运行效率——在DMRA网络上使帧率(FPS)提升近两倍,在CPFP网络上提升达三倍。

基准测试

基准方法指标
rgb-d-salient-object-detection-on-nju2kA2dele
Average MAE: 0.051

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
A2dele:用于高效RGB-D显著目标检测的自适应注意力深度蒸馏方法 | 论文 | HyperAI超神经