3 个月前

基于序数熵的深度回归性能提升

基于序数熵的深度回归性能提升

摘要

在计算机视觉领域,人们常常观察到,将回归问题转化为分类任务往往能获得更好的性能。本文深入探究了这一看似反直觉的现象,并通过理论推导表明:相较于使用均方误差(MSE)损失的回归方法,采用交叉熵损失的分类方法在学习高熵特征表示方面具有更强的能力。基于该分析,我们提出了一种新的有序熵损失(ordinal entropy loss),旨在在保持有序关系的前提下,促进特征空间的熵值提升,从而增强回归任务的性能。在合成数据与真实世界回归任务上的实验结果验证了提高特征熵对于回归性能的重要意义及其实际效益。

代码仓库

基准测试

基准方法指标
crowd-counting-on-shanghaitech-aOrdinalEntropy
MAE: 65.6
MSE: 105.0
crowd-counting-on-shanghaitech-bOrdinalEntropy
MAE: 9.1
MSE: 14.5
monocular-depth-estimation-on-nyu-depth-v2OrdinalEntropy
Delta u003c 1.25: 0.932
RMSE: 0.321
absolute relative error: 0.089
log 10: 0.039

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于序数熵的深度回归性能提升 | 论文 | HyperAI超神经