
摘要
在计算机视觉领域,人们常常观察到,将回归问题转化为分类任务往往能获得更好的性能。本文深入探究了这一看似反直觉的现象,并通过理论推导表明:相较于使用均方误差(MSE)损失的回归方法,采用交叉熵损失的分类方法在学习高熵特征表示方面具有更强的能力。基于该分析,我们提出了一种新的有序熵损失(ordinal entropy loss),旨在在保持有序关系的前提下,促进特征空间的熵值提升,从而增强回归任务的性能。在合成数据与真实世界回归任务上的实验结果验证了提高特征熵对于回归性能的重要意义及其实际效益。
代码仓库
needylove/ordinalentropy
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| crowd-counting-on-shanghaitech-a | OrdinalEntropy | MAE: 65.6 MSE: 105.0 |
| crowd-counting-on-shanghaitech-b | OrdinalEntropy | MAE: 9.1 MSE: 14.5 |
| monocular-depth-estimation-on-nyu-depth-v2 | OrdinalEntropy | Delta u003c 1.25: 0.932 RMSE: 0.321 absolute relative error: 0.089 log 10: 0.039 |