
摘要
机器学习模型通常专注于特定目标,如在商业环境中基于已知的人群特征分布创建分类器。然而,计算个体特征的模型会随着时间进行调整以提高精度,这引入了“解耦”(decoupling)的概念:从点评估转向数据分布。我们使用校准策略作为在业务逻辑框架中将机器学习(ML)分类器与基于分数的操作解耦的方法。为了评估这些策略,我们使用一个真实世界的商业场景和多种机器学习模型进行了比较分析。研究结果突显了该方法的权衡和性能影响,为希望优化其解耦工作的实践者提供了宝贵的见解。特别是,在训练数据和测试数据之间存在差异的情况下,等距校准(Isotonic Calibration)和贝塔校准(Beta Calibration)方法表现突出。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| fraud-detection-on-baf-base | MLP–NN | Recall @ 5% FPR: 49.6% |
| fraud-detection-on-baf-base | CatBoost | Recall @ 5% FPR: 52.4% |
| fraud-detection-on-baf-base | LightGBM | Recall @ 5% FPR: 54.3% |