3 个月前

孤立森林

孤立森林

摘要

现有的大多数基于模型的异常检测方法通过构建正常实例的特征轮廓,将偏离该轮廓的实例识别为异常。本文提出了一种根本不同的基于模型的方法——iForest,其核心思想是显式地隔离异常点,而非建模正常点的特征。据我们所知,当前文献中尚未探讨“隔离”这一概念。通过引入隔离机制,所提出的iForest方法能够充分利用子采样技术,其应用程度远超现有方法的可行性范围,从而实现具有线性时间复杂度、低常数因子和低内存需求的算法。实验评估结果表明,iForest在AUC指标和处理时间方面均优于ORCA(一种近线性时间复杂度的距离基方法)、LOF(局部异常因子)以及随机森林(Random Forests),尤其在大规模数据集上表现突出。此外,iForest在高维数据问题中同样表现良好,即使数据中包含大量无关属性,或训练集中未包含任何异常样本,也能有效工作。

基准测试

基准方法指标
unsupervised-anomaly-detection-with-specifiedIsolation Forest
AUC-ROC: 0.638
unsupervised-anomaly-detection-with-specified-1Isolation Forest
AUC-ROC: 0.690
unsupervised-anomaly-detection-with-specified-10Isolation Forest
AUC-ROC: 0.777
unsupervised-anomaly-detection-with-specified-11Isolation Forest
AUC-ROC: 0.908
unsupervised-anomaly-detection-with-specified-12Isolation Forest
AUC-ROC: 0.777
unsupervised-anomaly-detection-with-specified-14IF
AUC-ROC: 0.889
unsupervised-anomaly-detection-with-specified-15Isolation Forest
AUC-ROC: 0.917
unsupervised-anomaly-detection-with-specified-16Isolation Forest
AUC-ROC: 0.876
unsupervised-anomaly-detection-with-specified-17Isolation Forest
AUC-ROC: 0.846
unsupervised-anomaly-detection-with-specified-18Isolation Forest
AUC-ROC: 0.917
unsupervised-anomaly-detection-with-specified-19IF
AUC-ROC: 0.878
unsupervised-anomaly-detection-with-specified-20IF
AUC-ROC: 0.797
unsupervised-anomaly-detection-with-specified-21IF
AUC-ROC: 0.786
unsupervised-anomaly-detection-with-specified-22IF
AUC-ROC: 0.821
unsupervised-anomaly-detection-with-specified-23IF
AUC-ROC: 0.797
unsupervised-anomaly-detection-with-specified-24IF
AUC-ROC: 0.706
unsupervised-anomaly-detection-with-specified-25IF
AUC-ROC: 0.889
unsupervised-anomaly-detection-with-specified-26IF
AUC-ROC: 0.798
unsupervised-anomaly-detection-with-specified-27IF
AUC-ROC: 0.915
unsupervised-anomaly-detection-with-specified-5Isolation Forest
AUC-ROC: 0.718
unsupervised-anomaly-detection-with-specified-6Isolation Forest
AUC-ROC: 0.721
unsupervised-anomaly-detection-with-specified-7IF
AUC-ROC: 0.661
unsupervised-anomaly-detection-with-specified-8Isolation Forest
AUC-ROC: 0.890
unsupervised-anomaly-detection-with-specified-9Isolation Forest
AUC-ROC: 0.894

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
孤立森林 | 论文 | HyperAI超神经