{Evelyne ViegasWeiWei TuAlexander StatnikovMichèle SebagMehreen SaeedBisakha RayDamir JajeticZhengying LiuSergio EscaleraHugo Jair EscalanteMarc BoulléLisheng Sun-HosoyaIsabelle Guyon}
摘要
ChaLearn AutoML挑战赛（作者按姓氏字母顺序排列，首位作者负责主要撰写工作，第二位作者完成大部分数值分析与图表绘制）共包含六轮逐步提升难度的机器学习竞赛，所有竞赛均在有限计算资源条件下进行。此后，又举办了一轮单轮AutoML挑战赛（PAKDD 2018）。与以往的模型选择/超参数优化挑战赛（例如我们此前为NIPS 2006组织的赛事）不同，本次AutoML挑战赛要求参赛者开发完全自动化且计算高效的系统，能够在无需人工干预的情况下完成训练与测试，并提交代码。本章对上述竞赛结果进行了分析，并详细介绍了各轮比赛中所使用的数据集（这些数据集在竞赛期间未向参赛者公开）。获胜方案在所有轮次的所有数据集上进行了系统性基准测试，并与scikit-learn中经典的机器学习算法进行了对比。本章所讨论的所有材料（包括数据与代码）均已公开发布于 http://automl.chalearn.org/。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| automl-on-madeline | djajetic | Duration: 5842.12 Rank (AutoML5): 3.00 Set1 (F1): 0.7531 Set2 (PAC): 0.3905 Set3 (AUC): 0.6875 Set4 (ABS): 0.3067 Set5 (BAC): 0.5517 |
| automl-on-madeline | aad_freiburg | Duration: 5942.22 Rank (AutoML5): 1.60 Set1 (F1): 0.7947 Set2 (PAC): 0.4061 Set3 (AUC): 0.5543 Set4 (ABS): 0.2957 Set5 (BAC): 0.5900 |
| automl-on-madeline | postech.mlg_exbrain | Duration: 3343.64 Rank (AutoML5): 5.20 Set1 (F1): 0.7542 Set2 (PAC): 0.2802 Set3 (AUC): 0.3333 Set4 (ABS): 0.1507 Set5 (BAC): 0.5564 |
| automl-on-madeline | abhishek4 | Duration: 4353.45 Rank (AutoML5): 4.60 Set1 (F1): 0.7565 Set2 (PAC): 0.0172 Set3 (AUC): 0.2911 Set4 (ABS): 0.2791 Set5 (BAC): 0.5595 |
| automl-on-madeline | reference_mb | Duration: 4889.14 Rank (AutoML5): 5.20 Set1 (F1): 0.7005 Set2 (PAC): 0.3698 Set3 (AUC): 0.6776 Set4 (ABS): 0.2507 Set5 (BAC): 0.4618 |
| automl-on-madeline | marc.boulle | Duration: 4603.81 Rank (AutoML5): 6.40 Set1 (F1): 0.7005 Set2 (PAC): 0.3698 Set3 (AUC): -1.0000 Set4 (ABS): 0.2507 Set5 (BAC): 0.4618 |
| automl-on-madeline | reference | Duration: 4416.40 Rank (AutoML5): 4.40 Set1 (F1): 0.7556 Set2 (PAC): 0.0343 Set3 (AUC): 0.2927 Set4 (ABS): 0.2790 Set5 (BAC): 0.5601 |
| automl-on-madeline | reference_ls | Duration: 5879.88 Rank (AutoML5): 4.00 Set1 (F1): 0.7062 Set2 (PAC): 0.3708 Set3 (AUC): 0.5384 Set4 (ABS): 0.2856 Set5 (BAC): 0.5580 |