3 个月前

SafeML:通过统计差异度量实现对机器学习分类器的安全监控

SafeML:通过统计差异度量实现对机器学习分类器的安全监控

摘要

随着数据驱动的应用不断拓展至安全关键领域,确保机器学习(ML)系统的安全性与可解释性已成为日益重要的议题。这些传统上要求极高安全标准的应用领域,难以仅通过针对不可访问的黑箱系统进行测试来满足安全需求。尤其值得注意的是,安全与安全之间的交互关系构成核心挑战——安全漏洞可能导致系统安全性的丧失。本文提出一种统一的保护机制,旨在运行过程中同时应对安全与安全问题,其核心是基于经验累积分布函数(ECDF)距离度量,对数据驱动系统的行为及其运行环境进行主动监控。我们针对抽象数据集(XOR、Spiral、Circle)以及当前用于入侵检测的典型安全数据集(CICIDS2017,模拟网络流量)开展了实验研究,采用包括柯尔莫哥洛夫-斯米尔诺夫(Kolmogorov-Smirnov)、库皮尔(Kuiper)、安德森-达林(Anderson-Darling)、Wasserstein以及混合Wasserstein-安德森-达林在内的多种分布偏移检测方法。初步研究结果表明,该方法可为判断机器学习组件的应用环境在安全-安全维度上的有效性提供可靠依据。相关初步代码与实验结果已开源,详见:https://github.com/ISorokos/SafeML。

代码仓库

n-akram/SafeML
GitHub 中提及
ISorokos/SafeML
官方
GitHub 中提及

基准测试

基准方法指标
classification-on-xorCART
Accuracy: 92.8179
classification-on-xorRF
Accuracy: 92.962
classification-on-xorKNN
Accuracy: 93.1045
classification-on-xorLDA
Accuracy: 77.2217

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供