3 个月前

对抗训练中鲁棒表征的增强:对齐与排除准则

对抗训练中鲁棒表征的增强:对齐与排除准则

摘要

深度神经网络容易受到对抗性噪声的干扰。对抗训练(Adversarial Training, AT)已被证明是防御此类攻击最有效的策略之一,能够有效提升神经网络的鲁棒性。然而,我们发现现有对抗训练方法在学习鲁棒特征方面存在不足,导致其在对抗鲁棒性上的表现受限。为解决这一问题,本文提出两个关键的鲁棒表征准则:(1)排除性(Exclusion):样本的特征应远离其他类别的特征;(2)对齐性(Alignment):自然样本与其对应对抗样本的特征应尽可能接近。基于上述准则,我们提出一种通用的对抗训练框架,通过引入非对称负对比学习与反向注意力机制,以获得更具鲁棒性的特征表示。具体而言,我们设计了一种基于预测概率的非对称负对比损失,旨在特征空间中将不同类别样本的表示相互推开,增强类间区分能力;同时,我们引入参数化的线性分类器权重作为反向注意力机制,对特征进行加权,从而生成具有类别感知能力的特征表示,并促使同类样本(包括自然样本与对抗样本)在特征空间中相互靠近。在三个基准数据集上的大量实验结果表明,所提方法显著提升了对抗训练的鲁棒性,取得了当前最优的性能表现。

代码仓库

changzhang777/ancra
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
adversarial-attack-on-cifar-10TRADES-ANCRA/ResNet18
Attack: AutoAttack: 59.70
adversarial-defense-on-cifar-10ResNet18 (TRADES-ANCRA/PGD-40)
Accuracy: 81.70
Attack: AutoAttack: 59.70
Robust Accuracy: 82.96
adversarial-defense-on-cifar-100resnet18
autoattack: 60.10/35.05
adversarial-robustness-on-cifar-10TRADES-ANCRA/ResNet18
Accuracy: 81.70
Attack: AutoAttack: 59.70
adversarial-robustness-on-cifar-100ResNet18/MART-ANCRA
AutoAttacked Accuracy: 35.05
Clean Accuracy: 60.10

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
对抗训练中鲁棒表征的增强:对齐与排除准则 | 论文 | HyperAI超神经