4 个月前

$n$-参考转移学习在显著性预测中的应用

$n$-参考转移学习在显著性预测中的应用

摘要

得益于深度学习研究和大规模数据集的发展,显著性预测在过去十年中取得了显著成功。然而,对于缺乏足够数据的新领域图像,预测显著性图仍然是一项具有挑战性的任务。为了解决这一问题,我们提出了一种少样本迁移学习范式用于显著性预测,该范式能够高效地将现有大规模显著性数据集中的知识迁移到目标域,即使目标域只有少量标记样本。具体而言,利用非常少量的目标域样例作为参考,在源域数据集上训练模型,使得训练过程能够收敛到有利于目标域的局部最小值。然后,使用这些参考样例对已学习的模型进行进一步微调。所提出的框架基于梯度且与模型无关。我们在多种源域和目标域组合上进行了全面的实验和消融研究。结果表明,所提出的框架实现了显著的性能提升。代码已在 \url{https://github.com/luoyan407/n-reference} 公开发布。

代码仓库

基准测试

基准方法指标
few-shot-transfer-learning-on-saliconDINet+FT|Ref
AUC: 0.8051
CC: 0.6121
NSS: 1.5077
few-shot-transfer-learning-on-saliconResNet+FT|Ref
AUC: 0.7983
CC: 0.5817
NSS: 1.4272
few-shot-transfer-learning-on-salicon-1DINet+FT|Ref
AUC: 0.8200
CC: 0.6468
NSS: 1.6085
few-shot-transfer-learning-on-salicon-2DINet+FT|Ref
AUC: 0.8276
CC: 0.6605
NSS: 1.6439
few-shot-transfer-learning-on-salicon-3DINet+FT|Ref
AUC: 0.8494
CC: 0.7442
NSS: 1.8831

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
$n$-参考转移学习在显著性预测中的应用 | 论文 | HyperAI超神经