4 个月前

学习空间相似性分布以实现少样本目标计数

学习空间相似性分布以实现少样本目标计数

摘要

少样本目标计数旨在计算查询图像中与给定示例图像属于同一类别的目标数量。现有的方法在二维空间域内计算查询图像与示例图像之间的相似性,并通过回归获得计数结果。然而,这些方法忽略了示例图像上丰富的相似性空间分布信息,导致匹配精度显著下降。为了解决这一问题,我们提出了一种用于少样本目标计数的空间相似性分布(Spatial Similarity Distribution, SSD)网络学习方法,该方法保留了示例特征的空间结构,并在查询特征与示例特征之间逐点计算了一个四维相似性金字塔,捕捉了四维相似性空间中每个点的完整分布信息。我们设计了一个相似性学习模块(Similarity Learning Module, SLM),该模块在相似性金字塔上应用高效的中心旋转4D卷积,将不同的相似性分布映射到不同的预测密度值,从而实现精确计数。此外,我们还引入了一个特征交叉增强(Feature Cross Enhancement, FCE)模块,该模块相互增强查询和示例特征,以提高特征匹配的准确性。我们的方法在多个数据集上超越了现有最先进方法,包括FSC-147和CARPK。代码可在https://github.com/CBalance/SSD 获取。

代码仓库

CBalance/SSD
官方
pytorch

基准测试

基准方法指标
object-counting-on-fsc147SSD
MAE(test): 9.58
MAE(val): 9.73
RMSE(test): 64.13
RMSE(val): 29.72

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
学习空间相似性分布以实现少样本目标计数 | 论文 | HyperAI超神经