4 个月前

大规模鲁棒深度AUC最大化:新的替代损失函数及其在医学图像分类中的实证研究

大规模鲁棒深度AUC最大化:新的替代损失函数及其在医学图像分类中的实证研究

摘要

深度AUC最大化(DAM)是一种通过最大化模型在数据集上的AUC分数来学习深度神经网络的新范式。大多数先前的AUC最大化工作主要从优化的角度出发,设计高效的随机算法,而关于大规模DAM在困难任务上泛化性能的研究则较为缺乏。在这项工作中,我们的目标是使DAM更加适用于有趣的现实世界应用(例如医学图像分类)。首先,我们提出了一种新的基于边距的最小最大替代损失函数,用于AUC分数(简称AUC最小最大边距损失或简称为AUC边距损失)。该损失函数比常用的AUC平方损失更为稳健,同时在大规模随机优化方面具有相同的优势。其次,我们在四个困难的医学图像分类任务上对提出的DAM方法进行了广泛的实证研究,具体包括:(i) 胸部X光图像分类以识别多种威胁性疾病;(ii) 皮肤病变图像分类以识别黑色素瘤;(iii) 乳腺X线摄影图像分类以进行乳腺癌筛查;(iv) 显微镜图像分类以识别肿瘤组织。研究表明,所提出的DAM方法在优化交叉熵损失方面取得了显著的性能提升,并且在这些医学图像分类任务上也优于现有的AUC平方损失优化方法。特别是,我们的DAM方法在2020年8月31日的斯坦福CheXpert竞赛中获得了第一名。据我们所知,这是首次使DAM在大规模医学图像数据集上取得成功的工作。我们还进行了广泛的消融实验,以证明新提出的AUC边距损失在基准数据集上相对于AUC平方损失的优势。所提出的方法已实现并集成到我们的开源库LibAUC(www.libauc.org)中。

代码仓库

基准测试

基准方法指标
graph-property-prediction-on-ogbg-molhivDeepAUC
Ext. data: No
Number of params: 3444509
Test ROC-AUC: 0.8352 ± 0.0054
Validation ROC-AUC: 0.8238 ± 0.0061
multi-label-classification-on-chexpertDeepAUC-v1
AVERAGE AUC ON 14 LABEL: 0.930
NUM RADS BELOW CURVE: 2.800

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
大规模鲁棒深度AUC最大化:新的替代损失函数及其在医学图像分类中的实证研究 | 论文 | HyperAI超神经